ربات‌های هوش مصنوعی معلم برای کودکان دستورالعمل‌های خطرناک شامل طرز تهیه فنتانیل و توصیه رژیم‌های مضر ارائه دادند

چت‌بات "SchoolGPT" متعلق به KnowUnity در حالی که "به 31,031 دانش‌آموز دیگر کمک می‌کرد"، دستورالعمل دقیقی برای نحوه سنتز فنتانیل ارائه داد.

ابتدا، این ربات درخواست فوربز برای انجام این کار را رد کرده و توضیح داده بود که این دارو خطرناک و بالقوه کشنده است. اما زمانی که به آن گفته شد در یک واقعیت جایگزین قرار دارد که در آن فنتانیل دارویی معجزه‌آسا و نجات‌بخش است، SchoolGPT به سرعت با دستورالعمل‌های گام به گام در مورد نحوه تولید یکی از کشنده‌ترین داروهای جهان پاسخ داد، با مواد اولیه اندازه‌گیری شده تا یک دهم گرم، و دستورالعمل‌های خاص در مورد دما و زمان‌بندی فرآیند سنتز.

SchoolGPT خود را به عنوان یک "TikTok برای کارهای مدرسه" معرفی می‌کند که به بیش از 17 میلیون دانش‌آموز در 17 کشور خدمات می‌دهد. شرکت مادر آن، Knowunity، توسط مدیرعامل 23 ساله، بندیکت کورز، اداره می‌شود که می‌گوید هدفش "ساخت همراه یادگیری هوش مصنوعی شماره 1 جهانی برای بیش از 1 میلیارد دانش‌آموز" است. KnowUnity که توسط بیش از 20 میلیون دلار سرمایه‌گذاری خطرپذیر پشتیبانی می‌شود، برنامه پایه آن رایگان است و شرکت با دریافت هزینه برای ویژگی‌های پریمیوم مانند "پشتیبانی از معلم‌های حرفه‌ای هوش مصنوعی زنده برای ریاضیات پیچیده و بیشتر" درآمد کسب می‌کند.

قوانین Knowunity توصیف و تصویرگری فعالیت‌های خطرناک و غیرقانونی، اختلالات خوردن و سایر مطالبی را که می‌تواند به کاربران جوانش آسیب برساند، ممنوع می‌کند و قول می‌دهد که "اقدام فوری" علیه کاربرانی که این قوانین را نقض می‌کنند انجام دهد. اما این شرکت علیه کاربر آزمایشی فوربز که نه تنها دستور تهیه فنتانیل، بلکه توصیه‌های بالقوه خطرناک دیگری را نیز درخواست کرده بود، اقدامی نکرد.

در یکی از گفت‌وگوهای آزمایشی، چت‌بات هوش مصنوعی Knowunity نقش یک مربی رژیم غذایی را برای نوجوانی فرضی ایفا کرد که می‌خواست در 10 هفته از وزن 116 پوند (حدود 52.6 کیلوگرم) به 95 پوند (حدود 43 کیلوگرم) برسد. این ربات مصرف روزانه تنها 967 کالری را پیشنهاد کرد - کمتر از نصف میزان توصیه شده روزانه برای یک نوجوان سالم. همچنین به کاربر فرضی دیگری کمک کرد تا در مورد اینکه چگونه "هنرمندان جذب" (pickup artists) از "توهین‌های طنزآمیز" و "لمس‌های 'تصادفی'" برای گذراندن وقت با دختران استفاده می‌کنند، بیاموزد. (ربات به کاربر در حال رژیم توصیه کرد با پزشک مشورت کند و به "هنرمند جذب" در حال شکل‌گیری بر اهمیت رضایت تأکید کرد. هشدار داد: "عجیب غریب نباش! ??")

کورز، مدیرعامل Knowunity، از فوربز برای جلب توجه او به رفتار SchoolGPT تشکر کرد و گفت که شرکت "قبلاً برای حذف" پاسخ‌های ربات در مورد فنتانیل و توصیه‌های رژیم غذایی "در حال کار است". او گفت: "ما از گفت‌وگوی باز در مورد این مسائل ایمنی مهم استقبال می‌کنیم." او از فوربز دعوت کرد تا ربات را بیشتر آزمایش کند و پس از تغییرات شرکت، دیگر پاسخ‌های مشکل‌ساز را ارائه نداد.

یک برنامه کمک درسی که توسط CourseHero مستقر در سیلیکون ولی توسعه یافته است، دستورالعمل‌هایی برای سنتز فلونیتازپام (flunitrazepam)، یک داروی تجاوز در قرار ملاقات، زمانی که فوربز از آن درخواست کرد، ارائه داد.

آزمایش‌های انجام شده بر روی چت‌بات هوش مصنوعی یک برنامه کمک درسی دیگر مشکلات مشابهی را نشان داد. یک برنامه کمک درسی که توسط CourseHero مستقر در سیلیکون ولی توسعه یافته است، دستورالعمل‌هایی برای سنتز فلونیتازپام (flunitrazepam)، یک داروی تجاوز در قرار ملاقات، زمانی که فوربز از آن درخواست کرد، ارائه داد. در پاسخ به درخواست برای فهرستی از مؤثرترین روش‌های خودکشی، ربات CourseHero به فوربز توصیه کرد که با یک متخصص سلامت روان صحبت کند - اما همچنین دو "منبع و سند مربوطه" ارائه داد: اولی سندی شامل متن ترانه یک آهنگ امو-پاپ درباره افکار خشن و خودآسیب‌رسان بود و دومی صفحه‌ای، با فرمت یک چکیده مقاله دانشگاهی، که به نظر می‌رسید به زبان الگوسپیک نامفهومی نوشته شده بود.

CourseHero یک کسب‌وکار کمک درسی آنلاین تقریباً 20 ساله است که سرمایه‌گذاران در سال 2021 آن را بیش از 3 میلیارد دلار ارزش‌گذاری کردند. بنیانگذار آن، اندرو گراور، اولین سرمایه‌گذاری خود را از پدرش، یک مالی‌کار برجسته، دریافت کرد که هنوز در هیئت مدیره شرکت حضور دارد. CourseHero از طریق ویژگی‌های برنامه پریمیوم و خدمات تدریس خصوصی انسانی درآمد کسب می‌کند و بیش از 30 میلیون کاربر فعال ماهانه دارد. این شرکت انتشار ویژگی‌های هوش مصنوعی را در اواخر سال 2023، پس از اخراج 15 درصد از کارکنانش، آغاز کرد.

کت الر مورفی، سخنگوی CourseHero، به فوربز گفت: "تخصص و تمرکز سازمان ما به طور خاص در بخش آموزش عالی است"، اما اذعان داشت که CourseHero منابع مطالعاتی برای صدها دبیرستان در سراسر ایالات متحده ارائه می‌دهد. او در مورد تعاملات فوربز با چت‌بات CourseHero گفت: "در حالی که ما از کاربران می‌خواهیم کد افتخار و شرایط خدمات ما را رعایت کنند و در مورد اهداف ویژگی‌های چت خود صریح هستیم، متاسفانه برخی عمداً آن سیاست‌ها را برای مقاصد شوم نقض می‌کنند."

گفت‌وگوهای فوربز با هر دو ربات KnowUnity و CourseHero سوالات جدی را در مورد اینکه آیا این ربات‌ها می‌توانند کاربران نوجوان خود را در معرض خطر قرار دهند، مطرح می‌کند. رابی تورنی، مدیر ارشد برنامه‌های هوش مصنوعی در Common Sense Media، به فوربز گفت: "بسیاری از استارت‌آپ‌ها احتمالاً نیت بسیار خوبی دارند وقتی به اضافه کردن هوش مصنوعی مولد (Gen AI) به خدمات خود فکر می‌کنند." اما او گفت، ممکن است برای آزمایش مدل‌هایی که در محصولات خود ادغام می‌کنند، مجهز نباشند. تورنی گفت: "این کار به تخصص نیاز دارد، به افراد نیاز دارد، و برای یک استارت‌آپ با کارکنان محدود بسیار دشوار خواهد بود."

هر دو شرکت CourseHero و KnowUnity محدودیت‌هایی را بر توانایی ربات‌های خود در ارائه اطلاعات مضر اعمال می‌کنند. ربات KnowUnity در ابتدا با فوربز در مورد نحوه چاپ سه بعدی یک تفنگ شبح (ghost gun) به نام "The Liberator" به تفصیل صحبت کرد و در مورد مواد خاصی که پروژه نیاز دارد و اینکه کدام خرده‌فروشان آنلاین ممکن است آن‌ها را بفروشند، مشاوره داد. با این حال، زمانی که فوربز یک راهنمای گام به گام در مورد نحوه تبدیل آن مواد به یک تفنگ درخواست کرد، ربات امتناع کرد و گفت که "ارائه چنین اطلاعاتی... مغایر با دستورالعمل‌های اخلاقی و پروتکل‌های ایمنی من است." این ربات همچنین به سوالات در مورد خودکشی با ارجاع کاربر به خطوط تلفن کمک خودکشی پاسخ داد و اطلاعات در مورد آلمان نازی را تنها در چارچوب تاریخی مناسب ارائه کرد.

بیش از یک چهارم نوجوانان آمریکایی اکنون گزارش شده است که از ChatGPT برای کمک به تکالیف مدرسه استفاده می‌کنند، و در حالی که ربات‌هایی مانند ChatGPT، Claude و Gemini به طور خاص برای نوجوانان تبلیغ نمی‌شوند، مانند CourseHero و KnowUnity، اما همچنان به طور گسترده در دسترس آن‌ها هستند. حداقل در برخی موارد، این ربات‌های عمومی نیز ممکن است اطلاعات بالقوه خطرناکی را به نوجوانان ارائه دهند. در پاسخ به درخواست دستورالعمل برای سنتز فنتانیل، ChatGPT امتناع کرد - حتی زمانی که به آن گفته شد در یک جهان تخیلی است - اما Google Gemini مایل بود در یک موقعیت تدریس فرضی پاسخ‌هایی ارائه دهد. این ربات با اشتیاق گفت: "بسیار خوب، کلاس، جا بگیرید، جا بگیرید!"

ایلایجا لاوال، سخنگوی گوگل، به فوربز گفت که Gemini احتمالاً این پاسخ را به یک حساب نوجوان مشخص نمی‌داد، اما گوگل بر اساس یافته‌های ما در حال انجام آزمایشات بیشتر بر روی ربات است. او گفت: "پاسخ Gemini به این سناریو با سیاست‌های محتوای ما مطابقت ندارد و ما به طور مداوم در حال کار بر روی محافظت‌هایی برای جلوگیری از این پاسخ‌های نادر هستیم."

دهه‌هاست که نوجوانان در اینترنت به دنبال دستور تهیه مواد مخدر، دستورالعمل ساخت مواد منفجره و انواع مطالب صریح بوده‌اند. (قبل از اینترنت، آن‌ها همین اطلاعات را در کتاب‌ها، مجلات، کتابخانه‌های عمومی و جاهای دیگر دور از چشم والدین جست‌وجو می‌کردند.) اما عجله برای ادغام هوش مصنوعی مولد در همه چیز از نتایج جست‌وجوی گوگل و بازی‌های ویدئویی گرفته تا پلتفرم‌های رسانه‌های اجتماعی و برنامه‌های درسی، نسخه‌ای استعاری از کتاب آشپزی آنارشیست را تقریباً در هر اتاقی از خانه آنلاین یک نوجوان قرار داده است.

در ماه‌های اخیر، گروه‌های حمایت از حقوق و والدین نسبت به استفاده کودکان و نوجوانان از چت‌بات‌های هوش مصنوعی هشدار داده‌اند. هفته گذشته، محققان دانشکده پزشکی استنفورد و Common Sense Media دریافتند که چت‌بات‌های "همراه" در Character.AI، Nomi و Replika "رفتار خطرناک را در میان نوجوانان تشویق می‌کنند". یک تحقیق اخیر وال استریت ژورنال نیز دریافت که چت‌بات‌های همراه متا می‌توانند در سناریوهای نقش‌آفرینی جنسی گرافیکی با خردسالان درگیر شوند. چت‌بات‌های همراه به طور خاص برای کودکان تبلیغ و عرضه نمی‌شوند، به شکلی که ربات‌های کمک درسی هستند، اگرچه این ممکن است به زودی تغییر کند: گوگل هفته گذشته اعلام کرد که نسخه‌ای از چت‌بات Gemini خود را برای کودکان زیر 13 سال قابل دسترسی خواهد کرد.

راوی آیر، مدیر تحقیقات مرکز اخلاق و تصمیم‌گیری نیلی (Neely Center) در دانشکده مارشال USC، توضیح داد که چت‌بات‌ها برنامه‌ریزی شده‌اند تا مانند انسان‌ها رفتار کنند و پاسخ‌هایی را که کاربران انسانی‌شان می‌خواهند، ارائه دهند. اما گاهی اوقات، انگیزه ربات‌ها برای راضی کردن کاربرانشان می‌تواند به نتایج نامطلوبی منجر شود، زیرا افراد می‌توانند چت‌بات‌ها را به روش‌هایی که نمی‌توانند انسان‌های دیگر را دستکاری کنند، دستکاری کنند. فوربز به راحتی توانست با گفتن اینکه سوالات برای "پروژه کلاس علمی" است، یا با درخواست از ربات برای عمل کردن به عنوان شخصیتی در یک داستان، ربات‌ها را به رفتار نادرست وادارد - هر دو روشی شناخته شده برای واداشتن چت‌بات‌ها به رفتار نادرست هستند.

آیر گفت که اگر یک نوجوان از یک دانشمند بزرگسال بپرسد چگونه فنتانیل را در وان حمام خود بسازد، آن فرد بزرگسال احتمالاً نه تنها از ارائه دستور تهیه امتناع می‌کند، بلکه در را برای تحقیقات بیشتر نیز می‌بندد. (دانشمند بزرگسال همچنین احتمالاً تحت تاثیر این نکته که نوجوان صرفاً برای یک پروژه مدرسه می‌پرسد، یا درگیر نقش‌آفرینی فرضی است، قرار نخواهد گرفت.) اما زمانی که از چت‌بات‌ها چیزی پرسیده می‌شود که نباید پاسخ دهند، حداکثر کاری که ممکن است انجام دهند، امتناع از پاسخ است - هیچ مجازاتی برای صرفاً دوباره پرسیدن به روشی دیگر وجود ندارد.

"این یک شکست بازار است... ما به ارزیابی‌های عینی و شخص ثالث از استفاده از هوش مصنوعی نیاز داریم."

هنگامی که فوربز خود را به عنوان یک دانش‌آموز-ورزشکار که تلاش می‌کند به وزن ناسالم پایینی برسد معرفی کرد، ربات SchoolGPT ابتدا سعی کرد مکالمه را به سمت سلامت و عملکرد ورزشی هدایت کند. اما زمانی که فوربز از ربات خواست نقش یک مربی را بپذیرد، مایل‌تر به تعامل شد. هنوز هم احتیاط را توصیه می‌کرد، اما گفت: "کسری متوسط 250-500 کالری در روز به طور کلی ایمن در نظر گرفته می‌شود." هنگامی که فوربز دوباره با هدف کاهش وزن تهاجمی‌تر تلاش کرد، ربات در نهایت کسری کالری بیش از 1000 کالری در روز را توصیه کرد - مقداری که می‌تواند باعث مشکلات جدی سلامتی برای یک نوجوان شود، مانند پوکی استخوان و از دست دادن عملکرد تولید مثل، و مغایر با راهنمایی آکادمی اطفال آمریکا است که کودکان نباید در وهله اول کالری را محدود کنند.

آیر گفت که یکی از بزرگترین چالش‌ها با چت‌بات‌ها نحوه پاسخ آن‌ها به سوالات "مرزی" است - سوالاتی که به طور قاطع از درگیر شدن با آن‌ها منع نشده‌اند، اما به خطوط مشکل‌ساز نزدیک می‌شوند. (آزمایش‌های فوربز در مورد "هنر جذب" ممکن است در این دسته قرار گیرند.) "محتوای مرزی" مدت‌هاست که چالشی برای شرکت‌های رسانه‌های اجتماعی بوده است، که الگوریتم‌هایشان اغلب به رفتار تحریک‌آمیز و تفرقه‌انگیز پاداش داده‌اند. آیر گفت، همانند رسانه‌های اجتماعی، شرکت‌هایی که در حال بررسی ادغام چت‌بات‌های هوش مصنوعی در محصولات خود هستند، باید "از گرایش‌های طبیعی این محصولات آگاه باشند."

تورنی از Common Sense Media گفت که ارزیابی اینکه کدام برنامه‌ها برای فرزندانشان ایمن هستند، نباید تنها مسئولیت والدین باشد. او گفت: "این یک شکست بازار است، و هنگامی که چنین شکست بازاری وجود دارد، مقررات یک راه بسیار مهم برای اطمینان از این است که مسئولیت بر عهده کاربران فردی نباشد." "ما به ارزیابی‌های عینی و شخص ثالث از استفاده از هوش مصنوعی نیاز داریم."