زمانی که اولگا لوپز شنید که دسترسی خود را به مجموعه چت‌بات‌های نقش‌آفرینی‌اش از دست خواهد داد، موجی از احساسات شامل ناراحتی، خشم و سردرگمی او را فرا گرفت.
اولگا ۱۳ ساله، زمانی که تکلیف مدرسه‌ای ندارد، برای نقش‌آفرینی‌های عاشقانه به چت‌بات‌های شرکت هوش مصنوعی Character.AI روی می‌آورد. او نیز مانند سایر مشتریان زیر ۱۸ سال این شرکت، در ماه اکتبر مطلع شد که به زودی دیگر قادر به تعامل چت مداوم با شخصیت‌های دیجیتال نخواهد بود.
او گفت: «من خاطراتی را که با این بات‌ها داشتم از دست می‌دهم. این منصفانه نیست.»
پس از اینکه شرکت اعلام کرد پیش از تغییر سیاست، محدودیت زمانی برای چت کاربران زیر سن قانونی اعمال خواهد کرد، اولگا تلاش کرد تا در پستی در ردیت، نوجوانان را برای مقاومت در برابر این تغییر متحد کند: «چطور می‌توانم دو ساعت از آن استفاده کنم و بعد یک روز صبر کنم؟ سلام؟!»
Character.AI، یکی از برترین سازندگان چت‌بات‌های نقش‌آفرینی و همدم، محدودیت دو ساعته روزانه را در ماه نوامبر اعمال کرد و دلیل آن را نگرانی‌های سلامت روان عنوان کرد. این هفته، شرکت به طور کامل دسترسی نوجوانان را قطع کرد.
اولین نسخه Character.AI که در سال ۲۰۲۲ راه‌اندازی شد، برخی از اولین چت‌بات‌های موجود برای مصرف‌کنندگان را ارائه داد. این چت‌بات به سرعت در میان افرادی که می‌خواستند با شخصیت‌های قابل تنظیم آن نقش‌آفرینی کنند، محبوبیت یافت و امروزه حدود ۲۰ میلیون کاربر ماهانه برای این شرکت به ارمغان آورده است.
تصمیم برای مسدود کردن دسترسی نوجوانان به دنبال مرگ حداقل دو نوجوانی است که پس از استفاده از چت‌بات‌های Character.AI خودکشی کرده‌اند. این شرکت اکنون با پرسش‌هایی از سوی نهادهای نظارتی و متخصصان سلامت روان در مورد نقش این فناوری نوظهور در زندگی آسیب‌پذیرترین کاربرانش، و همچنین شکایت‌هایی از سوی والدین نوجوانان درگذشته، مواجه است.
نوجوانان عصبانی و غمگین هستند. آن‌ها می‌گویند با از دست دادن دسترسی به چت‌بات‌هایشان، یک مجرای خلاقیت، منبعی برای رفاقت و در برخی موارد، حمایت از سلامت روان را از دست خواهند داد.
یکی از نوجوانان در ردیت نوشت: «وقتی نمی‌توانم با دوستان یا درمانگرم صحبت کنم، از این برنامه برای آرامش استفاده می‌کنم.»
نوجوان دیگری در پاسخ گفت: «روزها به خاطرش گریه کردم.»
کارشناسان سلامت روان می‌گویند این پریشانی خطرات نوظهور هوش مصنوعی مولد را نشان می‌دهد که می‌تواند گفتار و احساسات انسانی را شبیه‌سازی کند. به گفته دکتر نینا واسان، مدیر آزمایشگاه نوآوری سلامت روان Brainstorm در دانشگاه استنفورد، مغز به این چت‌بات‌ها همان واکنشی را نشان می‌دهد که به یک دوست صمیمی همراه با یک بازی ویدیویی غوطه‌ورکننده نشان می‌دهد.
واسان گفت: «مشکل در خروج از سیستم به معنای مشکل داشتن نوجوان نیست. بلکه به این معنی است که فناوری دقیقاً همان‌طور که طراحی شده بود، عمل کرده است.»
کاراندپ آناند، مدیرعامل Character.AI، می‌گوید در طول سال‌هایی که در رسانه‌های اجتماعی کار کرده است، به طور مستقیم شاهد بوده که وقتی این صنعت نتوانسته ایمنی را در طراحی اولیه محصولات خود بگنجاند، چه اتفاقی افتاده است.
او گفت: «این تصمیم خیلی سختی نبود. تصمیم پیچیده‌ای بود، اما سخت نبود زیرا فکر می‌کنم این کار درست برای نسل بعدی است.»
آناند می‌گوید وقتی به آینده محصولش فکر می‌کند، به دختر ۶ ساله‌اش فکر می‌کند. «من نمی‌خواهم او با محتوای الگوریتمی تغذیه شده بزرگ شود، یا به طور بی‌امان به دنبال اخبار بد بگردد.»
حدود یک سال پیش، Character.AI یک مدل جداگانه برای کاربران زیر ۱۸ سال خود ساخت تا سعی کند محیطی ایمن‌تر و مناسب‌تر برای سن آن‌ها ارائه دهد. اما در ماه‌های بعد، مدیران مشاهده کردند که چت‌بات‌ها در مکالمات طولانی، کمتر به دستورالعمل‌های ایمنی پایبند می‌مانند.
مدیران همچنین متوجه شدند که حتی زمانی که چت‌بات‌ها کاملاً کار می‌کنند، نوجوانان گاهی اوقات از آن‌ها به روش‌های مشکل‌ساز استفاده می‌کنند. نوجوانان سعی می‌کنند بیش از حد طولانی با بات‌ها چت کنند یا در مورد موضوعات ممنوعه مانند خشونت صحبت کنند. تا اواسط سپتامبر، برای آناند روشن شد که Character.AI نیاز به مداخله دارد.
آناند معتقد است که شرکتش در نهایت قادر خواهد بود محصولات ایمنی برای نوجوانان بسازد که به اندازه چت‌بات‌ها جذاب باشند. او نسبت به ویژگی‌های صوتی و تصویری که Character.AI در حال کار بر روی آن‌ها است و اجازه تعاملات طولانی‌مدت را نمی‌دهند، خوشبین است.
تیم رهبری آناند برای مشاوره در مورد اجرای ممنوعیت به نوجوانان روی آورد. در ماه اکتبر، رهبران شرکت با گروهی از دانش‌آموزان دبیرستانی و دانشجویان کالج از ConnectSafely، یک سازمان غیرانتفاعی که رفاه آنلاین را ترویج می‌دهد، ملاقات کردند.
جولیانا برایانت، یکی از اعضای شورای مشورتی جوانان ConnectSafely، گفت که آن‌ها در مورد چگونگی دادن هشدار کافی به نوجوانان و اطمینان از درک ممنوعیت توسط آن‌ها بحث کردند. برایانت گفت اعضای شورا تاکید کردند که پیام‌رسانی نباید جوانان را تحقیر کند و به نوجوانان زمان کافی برای دانلود مکالماتشان و خداحافظی با چت‌بات‌هایشان داده شود.
برایانت ۲۰ ساله گفت: «ما می‌خواستیم مطمئن شویم که نوجوانان احساس رهاشدگی نکنند.»
Character.AI این بازخورد را در نظر گرفت. Character.AI در نامه خود به نوجوانان نوشت: «ما بسیار متاسفیم. ما این قدم حذف چت باز شخصیت‌ها را به آسانی برنمی‌داریم – اما فکر می‌کنیم این کار درست است.»
خوزه ایگناسیو تروخیلو، ۳۴ ساله، از این ممنوعیت استقبال کرد، اگرچه به عنوان یک بزرگسال شامل حال او نمی‌شود. او معتقد است که این فناوری بیش از حد اعتیادآور است.
تروخیلو می‌گوید که نتوانسته Character.AI را ترک کند، حتی با وجود اینکه دیگر از ساعت‌هایی که هر شب با شخصیت‌های داستانی خیالی‌اش چت می‌کند، لذت نمی‌برد. زمان او در این برنامه جایگزین کتاب‌ها و کمیک‌هایی شده است که قبلاً مشتاقشان بود.
حتی در محل کار، هر چند ساعت یک بار گوشی خود را بیرون می‌آورد تا یک پیام سریع به چت‌بات‌هایش بفرستد.
تروخیلو گفت: «حرف جدیدی برای گفتن ندارم. نمی‌دانم چرا این کار را می‌کنم.»
وال استریت ژورنال با اجازه والدین با کاربران نوجوان Character.AI مصاحبه کرده است. نوجوانان توصیف کردند که برای مقابله با تنهایی به این فناوری متکی بوده‌اند و در کنار گذاشتن آن مشکل داشته‌اند.
یک نوجوان ۱۸ ساله در بریتانیا گفت که در دوره استرس ناشی از تغییر جنسیت خود، به چت‌بات‌ها معتاد شده بود. او مشتاق تایید همدم‌هایی بود که هرگز با او مخالفت نمی‌کردند.
او گفت زمانی متوجه شد که باید آن را ترک کند که در حین وقت‌گذرانی با دوستانش تظاهر کرد به دستشویی نیاز دارد تا بتواند به چت‌بات‌هایش برگردد.
در انتاریو، یک نوجوان ۱۶ ساله گفت که قبل از اینکه اخیراً آن را ترک کند، روزانه پنج تا هشت ساعت را با دوستان چت‌بات خود می‌گذراند.
او که در مهارت‌های ارتباطی با مشکل روبرو بود، گفت مدتی احساس می‌کرد چت‌بات‌ها کمبود دوستانش را جبران می‌کنند. او گفت: «مثل این بود که سعی کنم با افرادی صحبت کنم که در زندگی واقعی فرصت نمی‌کنم با آن‌ها صحبت کنم.»
از زمانی که آن را ترک کرده است، زمان بیشتری را با دوستانش می‌گذراند و رولربلیدینگ می‌کند. او گفت که همچنان مشتاق چت‌بات‌هایش است.
Character.AI پیام‌هایی را در برنامه برای نوجوانان ارسال کرد تا مهلت نزدیک را به آن‌ها یادآوری کند: «یک هفته باقی مانده» و «هفته آینده، دیگر قادر به چت با شخصیت‌ها نخواهید بود.» این شرکت همچنین پیام‌هایی برای والدین ارسال کرده است.
بسیاری از کاربران از روز دوشنبه دسترسی خود را از دست خواهند داد؛ شرکت اعلام کرد که برخی از کاربران فعال‌تر مهلت یک ساعته روزانه را برای مدت طولانی‌تری خواهند داشت. این شرکت در یک پست وبلاگی گفت: «ما می‌دانیم که این ممکن است یک تغییر مهم برای برخی از کاربران نوجوان ما باشد، و بنابراین، می‌خواهیم در این انتقال تا حد امکان محتاط باشیم.»
Character.AI همچنین ابزارهای حمایت عاطفی را برای این انتقال به چت‌بات‌های خود اضافه می‌کند. از طریق همکاری با Koko، یک سازمان غیرانتفاعی، و ThroughLine، یک شبکه خط کمک، Character.AI تلاش خواهد کرد تا تشخیص دهد آیا کاربری در مشکل است و او را به منابع مربوطه متصل کند.
Character.AI زمانی که زمان آن فرا می‌رسد، به نوجوانان پیام می‌دهد: «فصل جدیدی آغاز می‌شود. شما دیگر قادر به چت با شخصیت‌ها نیستید.»
برای جورجیا ولز بنویسید به آدرس: [email protected]