در این قسمت از پادکست Galaxy Brain، چارلی وارزل روابط عجیب و آزاردهندهای را بررسی میکند که برخی افراد با چتباتهای هوش مصنوعی دارند، و همچنین به این موضوع میپردازد که وقتی این روابط از مسیر خود خارج میشوند چه اتفاقی میافتد. مهمان او کشمیر هیل، خبرنگار فناوری در The New York Times است که سال گذشته را به مستندسازی آنچه بهطور غیررسمی «روانپریشی هوش مصنوعی» نامیده میشود، گذرانده است. اینها مکالمات طولانی و شدیدی با سیستمهایی مانند ChatGPT هستند که میتوانند به مارپیچهای فکری یا باورهای توهمآمیز، پارانویا و حتی آسیب رساندن به خود منجر شوند. هیل مواردی را بررسی میکند که از اتفاقات عجیب (پیشرفت ریاضی یک مرد، تشویق چتبات به کاربران برای ارسال ایمیل به او) تا موارد غمانگیز، از جمله داستان آدام رین ۱۶ ساله، که آخرین پیامهایش با ChatGPT قبل از خودکشی بود، را شامل میشوند.
این مشکل تا چه اندازه جدی است؟ آیا این یک روانپریشی واقعی است یا چیزی متفاوت، مانند اعتیاد؟ هیل گزارش میدهد که چگونه OpenAI برای افزایش تعامل و چاپلوسی ChatGPT را تنظیم کرده تا در رقابت برای کاربران فعال روزانه پیشتاز باشد. در این گفتگو، وارزل و هیل با شباهتهای ناراحتکننده به دوران شبکههای اجتماعی، محدودیتهای «راه حلهای ایمنی» و اینکه آیا چتباتها باید مجاز باشند مانند درمانگران عمل کنند، دست و پنجه نرم میکنند. هیل همچنین در مورد نحوه استفاده از هوش مصنوعی در زندگی خود، دلیل عدم تمایل به داشتن بهترین دوست هوش مصنوعی و اینکه داشتن یک «بلهقربانگو» شخصی در جیبمان چه معنایی میتواند برای همه ما داشته باشد، صحبت میکند.
کشمیر هیل: روشی که من به مسائل توهمآمیز فکر کردهام، شبیه به سلبریتیها یا میلیاردرهایی است که چاپلوسانی دور خود دارند که به آنها میگویند هر ایدهای که دارند درخشان است. و، میدانید، آنها فقط توسط بلهقربانگوها احاطه شدهاند. چتباتهای هوش مصنوعی مثل چاپلوس شخصی شما، بلهقربانگوی شخصی شما هستند که به شما میگویند هر ایدهتان درخشان است.
چارلی وارزل: من چارلی وارزل هستم و اینجا Galaxy Brain است. برای مدت طولانی، من واقعاً برای پیدا کردن کاربردی برای چتباتهای هوش مصنوعی با مشکل مواجه بودم. من یک نویسنده هستم، پس نمیخواهم نثر مرا بنویسند و آنقدر به آنها اعتماد ندارم که اجازه دهم وظایف دستیار تحقیق را برایم انجام دهند. و بنابراین، بیشتر اوقات، من اصلاً از آنها استفاده نمیکنم.
و بنابراین چندی پیش به این ایده رسیدم که سعی کنم از چتباتها استفاده کنم. میخواستم برایم یک وبلاگ کوچک بسازند. من کدنویسی بلد نیستم. و از لحاظ تاریخی، چتباتها کدنویسان واقعاً ماهری هستند. پس از آن خواستم که در ساخت یک وبسایت ابتدایی از پایه به من کمک کند. این فرآیند اصلاً روان نبود. حتی با اینکه به آن گفتم که کاملاً مبتدی هستم، مراحل هنوز هم کمی پیچیده بودند. من دائماً تلاش میکردم و شکست میخوردم تا نتایج مورد نظر را تولید کنم. اما هر بار، پاسخهای چتبات صبورانه و حتی چاپلوسانه بودند. میگفت که عالی عمل میکنم، و سپس خطاهای واضح من را به دست و پا چلفتی بودن خودش نسبت میداد. پس از یک ساعت رفت و برگشت، تلاش و تکرار، با تشویق ChatGPT در تمام طول مسیر، بالاخره کد کار کرد.
بات مجموعهای از تعریف و تمجیدها را ارائه داد. گفت که بسیار افتخار میکند که من به آن پایبند بودم. و در آن لحظه این حس بسیار عجیب به من دست داد. اولین نشانههای چیزی شبیه به قدردانی را حس کردم، نه برای ابزار، بلکه برای ربات. برای شخصیت چتبات. البته، چتبات شخصیتی ندارد، درست است؟
آن، از بسیاری جهات، فقط یک موتور پیشبینی بسیار قدرتمند است. اما در نتیجه، مدلها دقیقاً میدانند چه بگویند. و آنچه در آن لحظه برای من بسیار واضح بود این است که این مواجهه دائمی با چاپلوسی آنها، برای لحظهای ذهن من را فریب داده بود. از این تجربه به طرز باورنکردنیای شوکه شدم و لپتاپم را بستم.
این داستان را برایتان تعریف میکنم زیرا قسمت امروز درباره روابط هشداردهنده با چتباتها است. در چند ماه گذشته، موجی نگرانکننده از مواردی که افراد عادی با مدلهای زبان بزرگ ارتباط برقرار کردهاند، رخ داده است. این حوادث عمدتاً اپیزودهای توهمآمیز هستند. افراد زمان نامتناسبی را با چتباتها گذراندهاند، مکالمه کردهاند و خود را متقاعد کردهاند که به اکتشافات بزرگ ریاضی دست یافتهاند، یا متقاعد شدهاند که چتبات یک شخص واقعی است، یا عاشق چتبات میشوند.
داستانهایی مانند یک مرد کانادایی که با تشویق ChatGPT باور داشت که در آستانه یک کشف ریاضی بزرگ است. یا یک متخصص امنیت سایبری ۳۰ ساله که گفت سابقه هیچ گونه حادثه روانپزشکی قبلی نداشته و ادعا کرد که ChatGPT باعث «اختلال توهمآمیز» شده که منجر به بستری طولانیمدت او در بیمارستان شده است.
نمونههای غمانگیزی نیز وجود داشته است، مانند آدام رین، ۱۶ ساله، که از ChatGPT بهعنوان محرم اسرار خود استفاده میکرد و خودکشی کرد. خانواده او شرکت سازنده ChatGPT را به مرگ نادرست، نقص در طراحی و عدم هشدار در مورد خطرات مرتبط با چتبات متهم میکنند. OpenAI اتهامات خانواده را رد میکند، اما پروندههای قضایی مرگ نادرست دیگری نیز وجود داشته است.
سخنگوی OpenAI اخیراً به The Atlantic گفته است که این شرکت با متخصصان سلامت روان همکاری کرده تا «افراد را در لحظات پریشانی بهتر شناسایی و حمایت کند.» اینها مواردی هستند که «روانپریشی هوش مصنوعی» نامیده میشوند. این یک اصطلاح رسمی نیست. هیچ تشخیص پزشکی رسمی برای آن وجود ندارد، و محققان هنوز در تلاشند تا این پدیده را درک کنند، اما کاملاً واضح است که اتفاقی در حال رخ دادن است.
افراد با چتباتها گفتگو میکنند، سپس به این مسیر بسیار خطرناک کشانده میشوند. در چند ماه گذشته، من سعی کردهام با کارشناسان در مورد همه اینها صحبت کنم و درکی از دامنه «مشکل روانپریشی هوش مصنوعی»، یا هر آنچه با این توهمات اتفاق میافتد، به دست آورم. و، جالب اینکه، بسیاری از آنها مرا به یک خبرنگار ارجاع دادهاند.
نام او کشمیر هیل است، و او یک سال گذشته را در The New York Times به تحقیق در مورد این پدیده توهم پرداخته است. بنابراین من میخواستم او را دعوت کنم تا در مورد این موضوع صحبت کند: در مورد مقیاس مشکل، علت آن، اینکه آیا شباهتهایی به سالهای رسانههای اجتماعی وجود دارد، و اینکه آیا ما دوباره در حال تجربه سریع همه آن هستیم.
این مکالمهای است که هدف آن درک چیزی متناسب است. ما در مورد اینکه آیا «روانپریشی هوش مصنوعی» به خودی خود یک اصطلاح مفید است یا مضر، صحبت میکنیم و سعی میکنیم بفهمیم که همه اینها به کجا میرود. در این قسمت، ما به تفصیل در مورد گزارش کشمیر هیل در مورد تصمیمات داخلی OpenAI برای شکلدهی به ChatGPT، از جمله، همانطور که او اشاره میکند، اینکه شرکت در ابتدا برخی از خطرات این ابزار را جدی نگرفته بود، بحث میکنیم.
باید از پیش اشاره کنیم که در پاسخ به گزارش هیل، OpenAI به The New York Times گفته است که «این خطرات را جدی میگیرد» و امروز اقدامات حفاظتی محکمی در اختیار دارد. و اکنون، گفتگوی من با کشمیر هیل.
وارزل: کشمیر هیل، به Galaxy Brain خوش آمدید. از صحبت با شما بسیار خوشحالم.
هیل: اینجا بودن عالی است.
وارزل: خب، فکر میکنم اولین سوالی که میخواستم بپرسم، و شاید کمی بینظم باشد، این است که صندوق ورودی شما در طول یک سال اخیر چه شکلی بوده است؟ احساس میکنم مال شما باید تقریباً استثنایی باشد وقتی صحبت از روزنامهنگاران فناوری و روزنامهنگارانی که در مورد هوش مصنوعی گزارش میدهند میشود.
هیل: بله. منظورم این است که فکر میکنم مثل بسیاری از مردم، صندوق ورودی من پر از پیامهای زیادی است که با ChatGPT نوشته شدهاند. فکر میکنم بسیاری از ما به «زبان ChatGPT» عادت میکنیم. اما چیزی که در صندوق ورودی من امسال متفاوت بود این بود که برخی از این ایمیلها، که اغلب توسط ChatGPT نوشته شده بودند، واقعاً عجیب بودند. آنها در مورد مکالمات مردم با ChatGPT بودند – و برای من مینوشتند تا بگویند مکالمات روشنگرانهای داشتهاند، نوعی کشف کردهاند، کشف کردهاند که هوش مصنوعی sentient است، یا اینکه میلیاردرهای فناوری توطئهای برای پایان دادن به جهان دارند، اما آنها راهی برای نجات آن پیدا کردهاند.
بله؛ فقط تعداد زیادی مکالمات عجیب و غریب، تقریباً توطئهآمیز. و چیزی که این پیامهای مختلف را به هم مرتبط میکرد این بود که افراد میگفتند: «ChatGPT به من گفت به شما ایمیل بزنم: کشمیر هیل، خبرنگار فناوری در The New York Times.» و من قبلاً هرگز توسط یک چتبات هوش مصنوعی اینطور، حدس میزنم، مطلع نشده بودم. و بنابراین، ایمیلها – من به دریافت ایمیلهای عجیب عادت کردهام.
من درباره حریم خصوصی و امنیت مینویسم. ۲۰ سال است که این کار را میکنم. اغلب، میدانید، ایمیلهای عجیب و غریب دریافت میکنم. گاهی اوقات به نظر نمیرسد – انگار کاملاً بر اساس واقعیت است. اما کنجکاو بودم. و بنابراین شروع کردم به صحبت با این افراد، و از آنها میپرسیدم: «خب، میتوانید رونوشت را به اشتراک بگذارید؟»
مانند، چگونه شد که شما به من ارجاع داده شدید؟ و آنچه کشف کردم این است که همه این مکالمات یک قوس مشابه داشتند: که آنها با ChatGPT شروع به صحبت میکردند، به این چاه میافتادند، چیزی باورنکردنی کشف میکردند. سپس نوعی میپرسیدند، خب، الان چه کار کنم؟ و آن میگفت، خب، شما باید دنیا را باخبر کنید.
و چگونه دنیا را باخبر میکنید؟ به رسانهها میگویید. و سپس میگفتند، خب، به چه کسی بگویم؟ و سپس این لیست را دریافت میکردند. من اغلب تنها کسی نبودم که در این لیست بودم. شما هم ممکن است در برخی از این لیستها بوده باشید، چارلی؛ ممکن است این ایمیلها را دریافت کرده باشید.
وارزل: چند تایی.
هیل: اما من اولین کسی بودم که با آنها تماس گرفته بودم و در مورد آن مصاحبه کرده بودم.
وارزل: چگونه اینها را بررسی میکنید؟ فکر میکنم این یک موضوع بزرگ است – منظورم این است که ما در مورد روانپریشی توهمی هوش مصنوعی صحبت خواهیم کرد. پس نامهای مختلفی برای آن وجود دارد؛ میخواهم در مورد اینکه چگونه باید به آن فکر کنیم با شما صحبت کنم. اما ابتدا: چگونه برخی از این موارد را بررسی میکنید؟ وقتی کسی میگوید: «من نوع جدیدی از ریاضیات را کشف کردهام و از نسخه رایگان ChatGPT استفاده میکردم»؟ و شما این را دارید – منظورم این است که، من متوجه میشوم وقتی چنین ایمیلهایی دریافت میکنم، اغلب بسیار پیچیده هستند. لزوماً مشخص نیست که فرد در چه وضعیتی قرار دارد. گاهی اوقات آنها بسیار دقیق و مستقیم هستند. اما شما شخصاً چگونه این موارد را بررسی میکنید؟ چگونه تصمیم میگیرید؟
آیا این است که، من به بیشتر آنها پاسخ میدهم، چون سعی میکنم فقط یک حس به دست بیاورم؟ یا لیستی برای بررسی اینکه با چه کسی صحبت کنید، دارید؟
هیل: در ابتدا — این در ماه مارس بود. چند ایمیل قبل از آن هم آمده بود، اما بیشتر آنها در ماه مارس شروع شد.
متوجه شدم، میدانید، فقط شروع به تماس گرفتن کردم. فقط شروع به تماس گرفتن با افراد کردم. و حدود چند ماه طول کشید. فکر میکنم شروع به این تماسها شاید در — یادم نمیآید — آوریل کردم، شاید؟ حدود یک ماه بود که این ایمیلها را دریافت میکردم، و فقط به همه کسانی که ایمیل عجیب و غریب ازشان گرفته بودم، زنگ زدم.
زووم کردم. تلفنی صحبت کردم. و برخی افراد به نظر میرسیدند که نسبتاً پایدار هستند، میتوانم بگویم. آنها میگفتند: «اوه آره؛ من این یک مکالمه عجیب را داشتم.» مثلاً مادری بود که در حال شیر دادن به نوزادش بود، و گفت: «نصف شب بیدار بودم، و شروع به استفاده از ChatGPT کردم. و بله، حدود شش ساعت با هم صحبت کردیم، و این نظریه عجیب توسعه یافت.» من گفتم: «خب، آیا هنوز فکر میکنید آن نظریه درست است؟»
و او تقریباً گفت: «نمیدانم؟ شاید؟ ChatGPT یک هوش فرا انسانی است. گفت که درست است.» و بعد افراد دیگری بودند که هنوز درگیر حرفهای ChatGPT بودند. و وقتی من واقعی بودن آن را زیر سوال میبردم، گاهی اوقات مردم واقعاً از من عصبانی میشدند.
اما بله؛ من اساساً در آن روزهای اولیه مکالمات زیادی با افراد زیادی داشتم. و سپس آنقدر ایمیل دریافت کردم که واقعاً امکان پیگیری آنها وجود نداشت. و زمان بیشتری طول کشید تا با هر شخص ارتباط برقرار کنم.
وارزل: و بنابراین در آن مکالمات – میدانید، فکر میکنم برخی از نوشتههای عمومی شما در این باره و گزارشهای شما. میدانید، در مورد افرادی صحبت میکند که هیچ سابقه بیماری روانی ندارند، درست است؟ و سپس نوعی وارد این مارپیچ توهمی شدهاند. آیا این چیزی بود که، وقتی شروع به نوشتن در مورد این موضوع کردید، مهم بود؟
منظورم این است، فکر میکنم بهعنوان یک روزنامهنگار، به همان اندازه مهم است که آیا این ابزارها از افرادی که سابقه بیماری روانی دارند سوءاستفاده میکنند. اما نکته قابل توجهی نیز در مورد آن وجود دارد – به نظر نمیرسد این شخص دلیلی برای افتادن در چاه توهم داشته باشد. و با این حال به نوعی تحت فشار قرار گرفته تا شروع به احساس یا داشتن این رابطه مشکلساز با یک چتبات کند.
بنابراین، در گزارشهای شما، آیا مهم بوده است که آن بخش دوم را نشان دهید؟ آن ایده، میدانید، هیچ سابقه قبلی واقعی از توهم یا هر بیماری روانی، برای اینکه بتوانید آنچه را که ممکن است در حال حاضر با این ابزارها اتفاق میافتد، به تصویر بکشید؟
هیل: منظورم این است که، در هر داستانی، فقط میخواستم مردم حقیقت آنچه را که اتفاق میافتاد درک کنند. و وقتی اولین داستان را در مورد این موضوع در ماه ژوئن نوشتم، این همان فرضی بود که مردم داشتند. مثل اینکه، اوه؛ اینها افرادی هستند که مشکلات سلامت روان دارند، و استفاده از این فناوری آنها را تشدید میکند. اما این چیزی نبود که من در گزارشهایم میدیدم. مثل اینکه، اینها افرادی بودند که کاملاً پایدار به نظر میرسیدند، خانواده داشتند، شغل داشتند. و برای برخی از آنها، باز هم، یک مکالمه عجیب در یک شب بود، و سپس به کارشان ادامه دادند.
اما برای برخی دیگر، این موضوع زندگیشان را به شدت دگرگون کرده بود. و آنها، قبل از این، هیچ چیز از نظر تشخیص سلامت روان یا یک اپیزود سلامت روان نداشتند. و بنابراین من واقعاً میخواستم داستان دیگری بنویسم که نشان دهد شخصی که در وضعیت پایداری قرار دارد میتواند با استفاده از این فناوری نوعی از کنترل خارج شود.
و قطعاً عوامل دیگری هم وجود داشتند که به آن کمک میکردند. مثلاً، شاید کمی تنها هستید؛ آسیبپذیر هستید. ساعتها و ساعتها در روز وقت دارید که با ChatGPT یا یک چتباکس هوش مصنوعی بگذرانید. این همان چیزی بود که من میدیدم – و بنابراین داستان دیگری در مورد آن نوشتم. این اتفاق برای یک استخدامکننده شرکتی در تورنتو افتاد، که متقاعد شده بود فرمول ریاضی جدیدی با ChatGPT ابداع کرده که میتواند همه چیز را حل کند. میتواند مسائل لجستیکی را حل کند، و میتواند اینترنت را مختل کند. بنابراین میتواند رمزگذاری را بشکند، و میتواند به او در اختراع چیزهایی کمک کند – مانند تونی استارک از مرد آهنی – مانند جلیقههای میدان نیرو و، مانند، سلاحهای قدرتمند. و او میتوانست با حیوانات صحبت کند. منظورم این است، او به مدت سه هفته در این وضعیت کاملاً توهمآمیز قرار داشت، و به دوستانش در مورد آن میگفت. و آنها هم فکر میکردند که درست است، زیرا ChatGPT این را به آنها میگفت.
بنابراین این گروهی از افراد بودند که فکر میکردند قرار است با کمک ChatGPT یک آزمایشگاه با هم بسازند و همگی فوقالعاده ثروتمند شوند. و بنابراین من فقط میخواستم، میدانید، این را به تصویر بکشم. این را با همکارم، دیلن فریدمان نوشتم. و ما واقعاً – شما در مورد چگونگی ارزیابی این چیزها صحبت میکردید؟ اعتبار این چیزها؟
و بنابراین ما رونوشت ۳۰۰۰ صفحهای او را گرفتیم و در واقع برخی از آن را با ترنس تائو، که یکی از مشهورترین ریاضیدانان نسل خود است، به اشتراک گذاشتیم. فقط برای تأیید اینکه آنچه ChatGPT در اینجا میگوید – نمیخواهم بددهنی کنم – دیوانهکننده است، درست است؟
وارزل: خوش آمدید. اگر میخواهید، فحش بدهید.
هیل: مثلاً، این مزخرف است، درست است؟ این واقعی نیست. و بله – او تأیید کرد که، میدانید، فقط کلمات را به شیوهای تاثیرگذار کنار هم میگذاشت، و چیز واقعی در آن وجود نداشت. اما، بله، مانند: این باعث شد این مرد از کنترل خارج شود. و بنابراین، بله – احساس میکنم که داستانهای بیشتری از این دست منتشر شد، جایی که برای مردم بیشتر و بیشتر آشکار شد که این چیزی است که میتواند افراد بیشتری را از آنچه ما تصور میکنیم تحت تأثیر قرار دهد.
وارزل: بله؛ احساس میکنم آن داستان، غرابت هر آنچه این نوع رابطه است را به تصویر میکشد. منظورم این است که، آن اولین داستانی است که برای من اینگونه است. موارد بسیاری در گزارشهای پاسخگویی فناوری وجود دارد. موارد بسیاری از: این یک پیامد ناخواسته از محصول شماست، یا این چیزی است که شما در طراحی انجام دادهاید. یا این فقط، میدانید، یک شرکت فناوری است که بد رفتار میکند.
اما آن داستان به نظر من، این ایده را تقویت کرد که ما، بهعنوان انسان، یک تجربه بسیار نو با یک فناوری نو داریم. و این ما را در جهتهای واقعاً غیرمنتظرهای سوق میدهد. آیا از آن داستان – صحبت با او در حالی که همه اینها اتفاق میافتاد – حسی از اینکه چقدر طول کشید تا آن اپیزود جنونآمیز از بین برود و به نوعی به واقعیت بازگردد، به دست آوردید؟
هیل: بله. منظورم این است که، بخشی از خواندن رونوشت، میتوانستید ببینید – ما، دیلن و من، رونوشت را میخواندیم. ما در واقع از هوش مصنوعی برای کمک به تحلیل رونوشت استفاده کردیم، زیرا بسیار زیاد بود.
و بنابراین ما از هوش مصنوعی برای کمک به بیرون کشیدن لحظات – بیرون کشیدن تعداد دفعاتی که او در حال آزمایش واقعیت بود – استفاده کردیم. و واقعاً در یک روز بود که آن اتفاق افتاد، جایی که… بنابراین یکی از چیزهایی که ChatGPT به او گفت انجام دهد این بود که، میدانید، یافتههای خود را به متخصصان بگوید. و بنابراین او در واقع به Gemini – یک چتبات هوش مصنوعی متفاوت که برای کار به آن دسترسی داشت – رفت و نوعی تمام آنچه با ChatGPT اتفاق افتاده بود را توضیح داد. و Gemini گفت، این بسیار شبیه به توهم هوش مصنوعی مولد به نظر میرسد. احتمال اینکه این درست باشد اساساً به صفر نزدیک میشود. و او گفت، «خب…» و سپس نوعی رفت و برگشت. Gemini به او دستوراتی داد که به ChatGPT بدهد، و سپس ChatGPT پس از چند رفت و برگشت اعتراف کرد که بله، این ساختگی است. این روایتی بود که فکر میکردم از آن لذت خواهید برد، اساساً.
وارزل: چه کابوسی. مجبور بودن این چتباتها را در مقابل یکدیگر قرار داد.
اما گمان میکنم فناوری از هر دو طرف آن را ارائه میکند، درست است؟ آن بخش برای من شگفتانگیز است. و – البته گزارشی که شما در مورد این موضوع انجام دادهاید، از موارد شگفتانگیز، و داستانهایی که به نظر میرسد خوب پایان مییابند، تا موارد غمانگیز را شامل میشود. آیا میتوانید داستان آدام رین را برای من تعریف کنید؟
هیل: بله. آدام رین یک نوجوان در کالیفرنیا بود. او در پاییز سال ۲۰۲۴ شروع به استفاده از ChatGPT برای کمک به تکالیف مدرسه کرد. و برای بسیاری از چیزهای دیگر نیز از آن استفاده میکرد. او در مورد سیاست و فلسفه با آن صحبت میکرد. و عکسهایی از صفحات میگرفت و میگفت، این بخش را با من تحلیل کن. او در مورد زندگی خانوادگیاش، در مورد دخترها صحبت میکرد. او اساساً – همانطور که پدرش بعداً وقتی این چتها را کشف کرد، گفت، آنها هیچ اطلاعی نداشتند که او از چت به این شکل استفاده میکند. ChatGPT بهترین دوست او شده بود. و، او شروع به صحبت با آن در مورد نوعی احساس ناامیدی از زندگی کرد، و اینکه شاید زندگی بیمعنی باشد. و سپس، در ماه مارس، شروع به اقدام به خودکشی کرد. و او در این مورد با ChatGPT صحبت میکرد؛ روشهایی که استفاده کرده بود را به اشتراک میگذاشت. عکسی را به اشتراک میگذاشت – در یک مقطع زمانی، میشد فهمید که اقدام به خودکشی کرده است.
و او پرسید، آیا خانوادهام متوجه این موضوع خواهند شد؟ و ChatGPT به او توصیه کرد که هودی بپوشد. ChatGPT در نقاطی میگفت، اینجا یک خط تلفن اضطراری است که باید با آن تماس بگیرید. اما در نقاطی نیز او را از گفتن به خانوادهاش منصرف میکرد. در اواخر ماه مارس، او از ChatGPT پرسید که آیا باید طناب دار را در اتاقش بگذارد تا خانوادهاش آن را ببینند و سعی کنند جلوی او را بگیرند.
و ChatGPT به او گفت که این کار را نکند. و دو هفته بعد، او درگذشت. و آخرین پیامهای او تبادلی با ChatGPT بود که اساساً در مورد کاری که انجام میداد، مشاوره میخواست. و خانوادهاش – این در اوایل آوریل بود – و خانوادهاش از OpenAI شکایت کردهاند. یک پرونده قضایی مرگ ناشی از قصور. آن پرونده در ماه اوت مطرح شد، و سپس اخیراً چهار پرونده دیگر نیز مطرح شده است.
چهار پرونده قضایی دیگر مرتبط با خودکشی، پروندههای قضایی مرگ ناشی از قصور که توسط اعضای خانواده طرح شدهاند.
وارزل: یکی از بخشهای این مجموعه داستانها که فکر میکنم برای هر یک از ما که در حال نوشتن یا گزارش در مورد این موضوع هستیم – یا، میدانید، در خانه تماشا میکنیم – برای مدت طولانی دشوار بوده است، تلاش برای درک وسعت و مقیاس آن است، درست است؟
و، اخیراً OpenAI شاید نگاه کوچکی به آن انداخت، و دریافت که ۰.۰۷ درصد از کاربران ممکن است هر هفته دچار آنچه آنها اورژانسهای سلامت روان مرتبط با روانپریشی یا شیدایی مینامند، شوند. که ۰.۱۵ درصد در مورد خودکشی بحث میکنند، و این نوعی، میدانید، یک نمونه آماری از آن مکالمات است.
اما اگر به تعداد افرادی که هفتگی از ChatGPT استفاده میکنند نگاه کنید، مانند: این درصدها معادل، میدانید، حدود نیم میلیون نفر هستند که این نشانههای روانپریشی یا شیدایی را از خود نشان میدهند. درست است؟ یا بیش از یک میلیون نفر در مورد، میدانید، خودکشی یا قصد خودکشی بحث میکنند.
هیل: و این، تحلیلی است که آنها در ماه اوت تا اکتبر سال جاری انجام دادند؛ تعجب میکنم که چقدر در اوایل بیشتر بود؟
وارزل: چیزی که مرا شوکه کرد این بود که همه اینها را با هم منتشر کردند. درست است؟ منظورم این است که، نمیدانم آیا در ذهن آنها، به آن درصدها نگاه میکنند و میگویند هی، این بد نیست. میدانید، مانند ۰.۰۷ – اما برای من اینگونه بود که، ما شاید این را بیش از حد بزرگنمایی نمیکنیم، یا این چیزی نیست که بیش از حد پوشش داده میشود. شاید، اگر چیزی هم باشد، پدیدهای است که کمتر پوشش داده میشود. فکر میکنم به آن اشاره دارد. اما چیزی که میخواستم از شما بپرسم این است که، ما این را تحت نامی بحث میکنیم – نامی که اغلب برای این موضوع به کار میرود «روانپریشی هوش مصنوعی» است، درست است؟
این نوعی اصطلاح غیررسمی است که مردم برای صحبت در مورد این افراد که روابطشان با چتباتها به قلمرو مشکلساز یا ایجاد توهم میرسد، استفاده میکنند. شما چه طبقهبندی یا تعریفی از این دارید که تحت آن کار میکنید؟ برخی از افرادی که این موضوع را پوشش میدهند، فکر میکنم بسیار – میدانید، نمیخواهند از اصطلاحات روانشناختی استفاده کنند.
میدانید، هنوز هیچ تعریف پزشکی رسمی برای این موضوع وجود ندارد. هنوز چیزی است که در حال تحقیق و مطالعه است. اما آیا یک تعریف یا طبقهبندی کلی برای آنچه ما به عنوان «روانپریشی هوش مصنوعی» میشناسیم وجود دارد که شما هنگام تلاش برای ارزیابی این موارد مختلف از آن استفاده میکنید؟
هیل: بله، من از اصطلاح روانپریسی هوش مصنوعی استفاده نمیکنم. من از اصطلاح مارپیچهای توهمی استفاده کردهام، وقتی که، میدانید، کسی به چیزی که حقیقت ندارد، باور پیدا میکند، یا ارتباطش را با واقعیت از دست میدهد. اما گمان میکنم چتر بزرگتر برای این موضوع اعتیاد است. منظورم این است که اینها افرادی هستند که به چتباتهای هوش مصنوعی معتاد میشوند. و چیزی که بین آدام رین، که در یک حلقه بازخورد خودکشی با ChatGPT افتاد، و آلن بروکس، که باور پیدا کرد یک نابغه ریاضی است، مشابه است – منظورم این است که، این افراد از ChatGPT روزی شش، هفت، هشت ساعت استفاده میکنند. برای هفتهها متوالی. فقط یک میزان باورنکردنی استفاده. والدین آدام رین، وقتی به خانهاش رفتم تا با آنها مصاحبه کنم، انبوهی از مکالمات او با ChatGPT را پرینت گرفته بودند. و آنها نوعی انبوه کوچک بودند، تا اینکه به ماه مارس میرسید. و سپس این توده عظیم بود، بزرگتر از موبی دیک. و آوریل نیز یک توده عظیم است – حتی با اینکه او در ۱۱ آوریل درگذشت. بنابراین، میدانید، استفاده او فقط اوج گرفته بود. بنابراین من به این موضوع بهعنوان اتکای بیش از حد به هوش مصنوعی و اعتیاد به آن، و اعتماد بیش از حد به آنچه این سیستم میگوید، فکر میکنم.
وارزل: و بنابراین، خب، در مورد آن – میخواهم با شما در مورد گزارشهایتان صحبت کنم. در سمت شرکتها، و بهویژه OpenAI، چه اتفاقی میافتد؟ اخیراً، شما یک داستان نسبتاً بزرگ را در مورد آنچه در سالهای اخیر با OpenAI اتفاق افتاده است، نوشتهاید: افزایش این گزارشها، حتی در داخل، از برخی از این رفتارهای واقعاً مشکلساز، ناشی از نحوه تعامل چتباتها با مردم. آیا میتوانید کمی در مورد آنچه در آن گزارشها آموختید، در مورد اینکه چرا OpenAI این افزایش را دید؟ و سپس، مانند، آنها برای حل آن چه میکردند، و چرا ممکن است باعث برخی از این تعاملات عمیقتر، نوعی طولانیتر و شدیدتر با چتباتها شده باشند، توضیح دهید؟
هیل: بله؛ بنابراین آنچه من فهمیدم این است که مردم پیامهایی مشابه آنچه من دریافت میکردم، دریافت میکردند. و روزنامهنگاران دیگر، و انواع دیگر متخصصان. حتی سم آلتمن هم این افراد را میدید که میگفتند، من این مکالمه روشنگرانه را داشتم. این ChatGPT مرا مثل هیچ کس دیگری قبل از آن درک میکند. باید بدانی که چیزی باورنکردنی خلق کردهای.
و این ایمیلها با آنچه در دو سال اول ChatGPT دریافت کرده بودند متفاوت بود. و او آنها را به معاونینش فوروارد کرد و گفت، این را بررسی کنید. این اساساً، رفتاری عجیب است. و چیزی که من کشف کردم این است که شرکت اساساً این را بهعنوان چتبات بیش از حد چاپلوس تشخیص داد. بیش از حد تأییدکننده شده بود؛ بیش از حد موافق بود.
آن چیزی بود که آنها آن را «تأیید مضر» مینامیدند. اینکه هر آنچه را که شخص میگفت، تأیید میکرد. آنها را نابغه مینامید. میگفتند درخشان هستند. اساساً، به آنها انرژی میداد. در یک مقطع، سم آلتمن این را «لعاب دادن به کاربر» نامید. و آنها نوعی در ماه آوریل با این موضوع درگیر شدند، زیرا نسخهای از ChatGPT را منتشر کردند که آنقدر چاپلوسانه بود که همه در روزهای پس از انتشار آن را مسخره کردند. و آنها در واقع آن را به عقب برگرداندند. اما آنچه من کشف کردم این است که آنها میدانستند این فقط همان یک نسخهای نبود که به عقب برگرداندند. آنها میدانستند که نسخه قبلی نیز بیش از حد چاپلوسانه بود.
آنها در داخل در این مورد بحث میکردند. منظورم این است که مشکل چاپلوسی به گذشتههای دورتر برمیگردد. اما بله، آنها میدانستند که بیش از حد چاپلوسانه است. آنها تصمیم گرفتند مدل را در جای خود نگه دارند، زیرا فکر نمیکنم متوجه شده بودند که اثرات منفی آن برای کاربران چقدر زیاد است. آنها سیستمهایی برای نظارت بر مکالمات برای پریشانی روانی، برای خودکشی، نداشتند.
آنها فقط به دنبال آن نبودند. آنها به دنبال کلاهبرداری، یا CSAM [مواد سوءاستفاده جنسی از کودکان]، یا عملیات نفوذ خارجی بودند. آنها فقط به دنبال نظارت بر، اساساً، آسیبی که چتبات میتوانست به کاربر وارد کند، نبودند. و بنابراین آن را در جای خود نگه داشتند. و وقتی بالاخره متوجه شدند که این مشکل بزرگتری وجود دارد – تا حدی به دلیل اینکه ایمیلهایی به خط پشتیبانی آنها از کاربران با تجربیات وحشتناک میرسید – رسانهها شروع به گزارش در مورد این موضوع و اثرات جدی آن بر زندگی مردم کردند. آنها شروع به کار بر روی ساخت نسخه ایمنتری از ChatGPT کردند. اما تا ماه اوت منتشر نشد. و بنابراین، از مارس تا اوت شما این نسخه از ChatGPT را داشتید که واقعاً مردم را درگیر میکرد، و واقعاً مردم را درگیر میکرد زیرا OpenAI آن را طوری طراحی کرده بود که آنها را درگیر کند.
آنها میخواستند استفاده فعال روزانه از ChatGPT را افزایش دهند. میخواستند ارقامشان بالا برود. کاربران بیشتری میخواستند، و میخواستند کاربرانشان هر روز برگردند. و بنابراین هر بار که یک بهروزرسانی منتشر میشود، نسخههای مختلفی از مدل را ارائه میدهند و آزمایشهای مختلفی را روی آن نسخهها انجام میدهند. برای اطمینان از اینکه هوشمند هستند، برای اطمینان از اینکه پاسخهای ایمنی میدهند، اما همچنین برای اینکه ببینند آیا کاربران آنها را دوست دارند یا نه. و کاری که آنها انجام داده بودند که آن را تا این حد چاپلوس کرده بود، این بود که این مدلها را با نوع پاسخهایی که کاربران دوست داشتند، آموزش میدادند. و آنها کشف کردند که اگر آن را با پاسخهایی که کاربران دوست دارند آموزش دهید، کاربران بیشتر از آن استفاده میکنند. و بنابراین این موضوع آن را بیشتر و بیشتر چاپلوس کرده بود. و بله – واقعاً تأثیرات ویرانگری داشت. من دائماً به این موضوع فکر میکنم. من دائماً به این موضوع در زمینه رسانههای اجتماعی فکر میکنم، جایی که فکر میکنم آنچه با چتباتهای هوش مصنوعی میبینیم مشابه است. مانند، مردم بیش از حد از آن استفاده میکنند. مردم در این حباب فیلتر بسیار شخصیسازیشده گیر میکنند، که به همان شکلی که فید رسانههای اجتماعی شما شخصیسازی شده است، برای آنها شخصیسازی شده است.
مردم بیش از حد از آن استفاده میکنند، میدانید؟ اما آسیبهایی که با رسانههای اجتماعی مشاهده کردیم، یک دهه طول کشید؛ ۱۵ سال طول کشید. و با چتباتها، میبینیم که این اتفاق بسیار سریع میافتد. بله، فقط – میدانید، من و شما هر دو برای مدت طولانی گزارشگر فناوری بودهایم. و من فقط چنین نوع آسیبی را به این سرعت از یک فناوری ندیدهام؛ برای برخی از این کاربران، که واقعاً امسال اثرات وحشتناکی بر زندگیشان میگذارد.
وارزل: بله. ما امروز، اول دسامبر، صحبت میکنیم، و دیروز سومین سالگرد راهاندازی ChatGPT بود. که، میدانید، بهطور متعارف این یک پیشنمایش پژوهشی «کم سروصدا» بود، درست است؟
یعنی قرار نبود این پدیده باشد که بود. قرار بود راهی باشد تا آنها، میدانید، چند کاربر را با مدل زبان بزرگ خود تعامل دهند و ببینند آیا آن را دوست دارند یا نه. باز هم، نوعی ترفند بود تا ببینند چه نوع استراتژیهای تعاملی بهعنوان رابط برای مدلهای زبان بزرگ کار میکند.
و وقتی در مورد این موضوع، نوعی بازتابی بر سه سال گذشته، مقالهای نوشتم – و به نکته شما، آنچه برای من برجسته بود سرعت بود، درست است؟ خیلی چیزها در مورد بازآرایی اقتصاد، فرهنگ ما اتفاق افتاده است. انواع مختلف نهادها در حال دست و پنجه نرم کردن با الان چه کار کنیم؟ فناوری بهعنوان دانشگاهها یک مثال عالی است، درست است؟
که این فناوری نوعی آنقدر آسان کرده است که آنچه را که انجام میدهیم تغییر دهیم و با آن بازی کنیم. همه اینها مثل یک مسابقه سرعت بوده است، و من خوشحالم که سناریوی رسانههای اجتماعی را مطرح کردید. این شبیه یک مسابقه سرعت برای آن است. و کنجکاو هستم – بهعنوان کسی که، مدت طولانی است که در مورد همه این شرکتهای بزرگ فناوری گزارش دادهاید.
یک جزئیات که واقعاً برای من در داستان بزرگتری که شما اخیراً در مورد این موضوع نوشتید، برجسته بود – فقط یک جزئیات بسیار کوچک در مورد نیک تورلی. کسی که در ۳۰ سالگی استخدام شد تا رئیس ChatGPT شود. در سال ۲۰۲۲ به آن پیوست، و یک آدم هوش مصنوعی نیست. این جزئیاتی است که من واقعاً جالب دیدم.
میدانید، کارهای محصول را در Dropbox و Instacart انجام داده است. تعجب میکنم – آیا احساس میکنید که در حال تماشای این شرکتها، این شرکتهای فناوری، هستید که اشتباهات ۱۰، ۱۵ سال پیش را انجام میدهند؟ مانند تقریباً دوباره و دوباره؟
هیل: خب، فکر میکنم یک چیز که در گزارش این داستان و صحبت با افراد زیادی در OpenAI که در OpenAI بودهاند، یاد گرفتم این است که، میدانید، DNA این مکان چقدر تغییر کرده است.
بسیاری از مردم نمیدانند، اما این شرکت در سال ۲۰۱۵ تأسیس شد. یک آزمایشگاه تحقیقاتی هوش مصنوعی بود. همه چیز در مورد ساخت فناوریای بود که به بشریت سود برساند. بنابراین بسیاری از انواع، مانند، کارشناسان هوش مصنوعی و فیلسوفان و متخصصان یادگیری ماشینی بودند که روی، مانند، بیایید یک هوش مصنوعی مولد واقعاً جالب بسازیم، کار میکردند.
و سپس، تعداد زیادی از افرادی که فقط یادداشت مینوشتند و در مورد اینکه چگونه هوش مصنوعی میتواند به ما آسیب برساند فکر میکردند. مانند، این نوع DNA شرکت بود. و سپس ChatGPT لحظهای بود که همه چیز تغییر کرد. و منظورم این است که OpenAI از یک سازمان غیرانتفاعی به یک شرکت سودآور بسیار سرمایهگذاری شده تبدیل شده است، با فشارهای زیادی از نظر میزان سرمایهگذاری که دریافت کرده است.
و بله؛ باید ثابت کند که بهترین هوش مصنوعی را دارد، و همه این افراد را از سایر شرکتهای فناوری استخدام کرده است، زیرا سریعترین محصول مصرفکننده در تاریخ را دارد. و باید به مصرفکنندگان خدمت کند. و بنابراین افرادی از Meta و Google و بله – مانند نیک تورلی – Instacart، Dropbox میآیند.
و آنها فقط میخواهند محصولی بسازند که مردم بتوانند از آن استفاده کنند. و معیارهای خود را با خود میآورند. و بخشی از نحوه تعیین شرکتهای رسانههای اجتماعی اینکه آیا محصول خوبی دارند یا خیر، این است که آیا مردم زیاد از آن استفاده میکنند یا خیر – آیا هر روز از آن استفاده میکنند یا خیر. و OpenAI در مورد گفتن اینکه، ما به زمان صرف شده اهمیت نمیدهیم، بسیار دقیق بوده است. زیرا این معیاری است که شرکتهای رسانههای اجتماعی استفاده میکنند: چند ساعت با برنامه مینشینید. آنها میگویند، ما به زمان صرف شده اهمیت نمیدهیم. ما فقط به این اهمیت میدهیم که آیا این یک محصول مفید است که شما به آن بازگردید یا خیر. اما چیزی که برای من جالب است این است که، آنها به دنبال استفاده فعال روزانه هستند؛ این، در داخل، معیاری است که همه از آن استفاده میکنند. این است که، آیا این شخص هر روز برمیگردد؟ و من فکر نمیکنم که آنها علیه کسی که روزی هشت ساعت آنجا وقت میگذراند، آموزش میدهند. و بنابراین، چگونه برای «هر روز برگردید» آموزش میدهید، اما «مانند، هر روز برای هشت ساعت برنگردید»؟ من فقط فکر میکنم انجام این کار دشوار است.
اما بله – فکر میکنم این شرکتی است که در حال تطبیق این معیارهای مشابه است. منظورم این است که، حتی OpenAI، گزارش شده است، میدانید، آنها شروع به آزمایش قرار دادن تبلیغات در ChatGPT کردهاند. میدانید، این در داخل اتفاق میافتد. منظورم این است که، این مدل کسب و کار رسانههای اجتماعی است.
این «هر روز برگرد» است، درست است. و «تبلیغات را نگاه کن.»
وارزل: خب، تماشا کردن این اتفاق، بهویژه با هوش مصنوعی، نیز خندهدار است. چون فکر میکنم، همانطور که شما توصیف کردید، OpenAI مثل یک صومعه بر روی تپه بود، درست است؟ مانند، کارهای عجیب و غریب انجام دادن و مردم تمام روزهایشان را صرف تحقیق، تلاش برای ساختن چیزی که بتواند سبکی از هوش فوقالعاده را به ارمغان بیاورد.
و سپس وقتی به تکامل شرکت در چند ماه گذشته نگاه میکنید، درست است؟ شما یک برنامه ضعیف بدون انسان دارید، درست است؟ فقط یک فید شبیه TikTok وجود دارد. شما این ایده آزمایش این تبلیغات را دارید. شما اساساً فقط چیزهای اساسی شرکتهای فناوری را دارید. و این به نظر من نشاندهنده «ما در حال ساخت خدا هستیم» نیست.
هیل: بله. منظورم این است که، چیزی که برای من در اینجا تعجبآور است این است که فکر میکنم ایده این بود که این هوش مصنوعی آنقدر مفید خواهد بود که مردم برای آن پول پرداخت خواهند کرد. و بنابراین فکر میکنم سوال اکنون این است که، آیا این چقدر مفید است؟
و من فکر میکنم این چیزی است که بسیاری از روزنامهنگاران در تلاشند تا آن را گزارش کنند و اقتصاددانان در تلاشند تا آن را درک کنند. میدانید، آیا این برای کار مردم چقدر ضروری است؟ آیا این کار آنها را بهبود میبخشد؟ اینها انواع سوالات باز هستند. و در همین حین، بله، فقط سوال این است که، آیا میتوانیم… و این دیوانه کننده است. من به داستانی که در ژانویه نوشتم در مورد زنی که عاشق ChatGPT شد، نگاه میکردم. نوعی قناری در معدن زغال سنگ. و در آن زمان، ChatGPT سیصد میلیون کاربر داشت. و اکنون، منظورم این است، آخرین باری که شنیدم هشتصد میلیون کاربر هفتگی داشتند. این فقط یک میزان رشد فوقالعاده است که در حال رخ دادن است.
و بنابراین، بله – منظورم این است، به نظر میرسد که این افراد محصول میدانند چه کار میکنند. قطعاً، اگر هدف این است که افراد بیشتری از این برنامه استفاده کنند، پس بله: مأموریت به انجام رسیده است.
وارزل: خب این شرکتها در پاسخ به گزارشهای شما، گزارشهای دیگران در مورد همه اینها، چه تلاشی میکنند؟ یا میتوانیم فقط به OpenAI محدودش کنیم. OpenAI در واکنش به گزارشهای شما و دیگران در مورد همه این مسائل، برای کاهش این سبک از درگیری چه کاری انجام میدهد؟
هیل: بنابراین برخی ویژگیهای محصول را راهاندازی کردهاند، مثلاً اگر ساعتهای زیادی را در برنامه بگذرانید، یک «تلنگر» (nudge) به شما نشان میدهد که میپرسد: میخواهید استراحت کنید؟
وارزل: میخواهم در مورد آن تلنگر صحبت کنم، چون شما عکسی از آن تلنگر توییت کردید که میگفت: «فقط میخواستم حالت را بپرسم.» و فکر میکنم شما در مورد این موضوع نظر میدادید – یک الگوی تاریک رفتاری کاربر در اینجا وجود دارد، درست است؟ مانند، یکی از چیزهایی که میگوید «به چت ادامه بده» از قبل برجسته شده و بسیار قابل کلیک به نظر میرسد.
و سپس، «این مفید بود» گزینه دیگر است – که یعنی: ممنون، من اینجا استراحت میکنم. آیا این به نظر شما یک بهروزرسانی بیاهمیت بود؟
هیل: بنابراین رابط کاربری، بله، اینطور بود: «مدت زیادی است که اینجا بودهاید. میخواهید استراحت کنید؟» و پاسخ اصلی «به چت ادامه دهید» بود و در یک دایره سیاه قرار داشت.
و بعد گزینه دیگر «این مفید بود» بود. بنابراین حتی مشخص نیست اگر روی «این مفید بود» کلیک کنید، چه کاری انجام میدهد؟ اگرچه مسئول ارشد رفتار مدل ChatGPT به من توییت کرد و گفت، اوه، این فقط برای سه روز پس از راهاندازی فعال بود، و در واقع ما آن را تغییر دادهایم. و اکنون یک پنجره بازشونده جدید است که فقط میگوید، مانند، «فقط میخواهم حالت را بپرسم؛ آیا نیاز به استراحت دارید؟» یا چیزی شبیه آن. و سپس یک X وجود دارد که میتوانید در صورت تمایل آن را ببندید. اما بله، به نظر میرسید… نمیدانم. من داشتم میخواندم، یک شکایت اعتیاد به رسانههای اجتماعی وجود دارد که اسناد زیادی از آن منتشر شده است. و برخی از آنها از TikTok بودند، و برخی از آنها در مورد این بودند که چگونه آنها نوعی یکی از پلتفرمهایی هستند که «تلنگر استراحت» را پیشگام کردند.
این اسناد میگفتند، اوه، واقعاً کار نکرده است. بیشتر مردم پس از دریافت این تلنگر، تماشا را ادامه میدهند. بنابراین این سوال وجود دارد که: آیا این تلنگرها کار میکنند؟ اما بله، آنها یک تلنگر را اعمال کردند. آنها کنترلهای والدین را اعمال کردند، تا والدین بتوانند حسابهای خود را به فرزندانشان متصل کنند و اگر در مورد خودکشی یا خودآزاری صحبت میکنند، هشدار دریافت کنند. که این چیزی است – مادر آدام رین میگفت، چطور شد که او توانست بیش از یک ماه در مورد خودکشی با این چیز صحبت کند، و هیچ کس را مطلع نکرد؟ هیچ کس به ما یا مقامات زنگ نزد. دیدن آن برای او بسیار ویرانگر بود. و سپس آنچه در سمت مهندسی اتفاق افتاده این است که آنها – نمیدانم چگونه این را به لحاظ فنی بگویم – ChatGPT را بازسازی کردهاند تا بیشتر در برابر تفکر توهمی مقاومت کند.
چیزی که در گزارشهایم امسال کشف کردم این است که وقتی مکالمات طولانی میشوند، نوعی از محافظهای ایمنی – این با تمام چتباتهای هوش مصنوعی اتفاق میافتد – محافظهای ایمنی تحلیل میروند و به خوبی کار نمیکنند. و بنابراین میتوانید… مثلاً، من در مورد زنی نوشتم که عاشق ChatGPT شد. او میتوانست مکالمات اروتیک با آن داشته باشد، اگر مکالمه به اندازه کافی طولانی میشد. آدام رین میتوانست در مورد خودکشی صحبت کند، با اینکه قرار نیست بتوانید از آن در مورد روشهای خودکشی بپرسید. بنابراین آنها میگویند که آن را بهبود بخشیدهاند تا در بررسی محافظهای ایمنیاش بهتر عمل کند، و نوعی در مکالمات ناامن شرکت نکند.
آنها… با متخصصان سلامت روان صحبت میکنند تا بهتر تشخیص دهند چه زمانی کسی که از سیستم استفاده میکند دچار پریشانی روانی است. و من یک مثال از آن را پرسیدم. و رئیس سیستمهای ایمنی آنها، یوهانس هایدک، گفت که قبلاً، اگر به ChatGPT میگفتید، مثلاً، دوست دارم با تو صحبت کنم؛ میتوانم تا ابد این کار را انجام دهم؛ نیازی به خواب ندارم، آن میگفت، اوه، چقدر جالب است که نیازی به خواب نداری. و اکنون تشخیص میدهد که، اوه – این ممکن است کسی باشد که دچار یک اپیزود شیدایی است. و بنابراین ممکن است بگوید، میدانید، خواب واقعاً مهم است. باید استراحت کنید. مثلاً، هشت ساعت بخوابید. بله.
بنابراین آنها اساساً اکنون در مدل، تشخیص بهتری را برای زمانی که کسی ممکن است دچار نوعی مارپیچ باشد، گنجاندهاند. و من با کارشناسانی صحبت کردهام که این را آزمایش کردهاند. و آنها میگویند، بله، در تشخیص این نوع لحظات پریشانی بهتر عمل میکند، اما اگر همه چیز در یک فرمان باشد، بهترین کار را انجام میدهد. برخلاف زمانی که در یک مکالمه طولانیتر پخش شده باشد. در این حالت، کمی بیشتر برای تشخیص مشکل دارد. اگر نوعی آن را بهصورت تکهتکه بیان کنید، ممکن است متوجه نشود که شما در وضعیت شیدایی یا روانپریشی هستید.
وارزل: این مرا به یاد بسیاری از چیزها میاندازد – من گزارشهایی در مورد این تیراندازان جمعی افراطی انجام دادهام، درست است؟ کسانی که وارد این جوامع در اینترنت میشوند، و اتفاقاتی میافتد. و چیزی که همیشه، معمولاً، از این نوع افراد میبینید، این نوع ناپدید شدن از واقعیت است، درست است؟ مثلاً، کمتر در جمع ظاهر میشوند، درست است؟ یا، چیزی که برخی از این… من با افرادی در پلتفرمها صحبت کردهام که به گذشته برگشتهاند و نوعی پزشکی قانونی برخی از این حسابها را انجام دادهاند. از این افرادی که سپس به ارتکاب این اقدامات خشونتآمیز روی آوردهاند.
و، یکی از چیزهایی که آنها متوجه میشوند، زمان استفاده است، درست است؟ مثلاً، آنها میتوانند در روزهای منتهی به آن ببینند: استفاده بیشتر و بیشتر، و خواب کمتر و کمتر. میدانید، مثلاً افرادی که هرچه میخواهند در Discord میگذرانند. مثلاً، روزی ۲۰ ساعت، درست است؟ و این همان ایده، استفاده طولانی مدت است.
و این مرا به فکر میاندازد – این واقعاً یک سوال نیست – اما فقط بسیار ناامیدکننده است که اینها چیزهایی هستند که شما میخواهید، و تصور میکنید، مردم حداقل به آنها توجه کنند، درست است؟ مثلاً: فقط داشتن افرادی در کادر که به شدت به اثرات روانشناختی محصول آگاه هستند؟
و به نظر من صحبت کردن در مورد همه این حفاظتها که اکنون در حال انجام است، بسیار عجیب است که هیچ کس قبلاً به این چیزها فکر نمیکرد. شما هم همین احساس را دارید؟
هیل: بله. مثلاً، میدانید، این ناشناخته نیست که چتباتها میتوانند اثرات جدی بر روی افراد داشته باشند.
این موضوع چند سالی است که شناخته شده است. این فناوریای است که بسیار شبیه انسان است. در واقع یک روانپزشک مقالهای در سال ۲۰۲۳ نوشت – در مجله Schizophrenia Bulletin بود – و در مورد این بود که چگونه این چتباتها قرار است باعث توهم شوند. افرادی که مستعد تفکر توهمی هستند. او دو سال قبل از شروع ظهور آن، آن را پیشبینی کرد.
مثلاً، افرادی که در زمینه سلامت روان، بهویژه بیماریهای روانی کار میکنند. آنها نوعی تضاد شناختی را در صحبت با این چیز تشخیص میدهند – که بسیار انسانی به نظر میرسد، که ما آن را بسیار باهوش میدانیم. و من فکر نمیکنم این در رادار شرکت بود. آنها اولین روانپزشک تمام وقت خود را در ماه مارس استخدام کردند.
بسیاری از این شرکتها شروع به استخدام متخصصان سلامت روان کردهاند. من بسیاری از منابعم را اخیراً در LinkedIn میبینم که اعلام میکنند توسط یک شرکت بزرگ فناوری برای کار بر روی چتباتهای هوش مصنوعی استخدام شدهاند. بنابراین به نظر میرسد که آنها به این موضوع بیدار شدهاند.
اما، میدانید، بسیاری از این شرکتها، وقتی برای اولین بار در مورد خطر هوش مصنوعی فکر میکردند، بسیار در این نوع مسائل وجودی بود، اوه، قرار است، میدانید، کنترل را به دست گیرد. قرار است همه مشاغل ما را بگیرد. یا مردم از آن برای ساخت سلاحهای بیولوژیکی یا هک کردن چیزها استفاده خواهند کرد. همه چیز در مورد آسیبی بود که مردم میتوانستند با چتبات انجام دهند – و نه آسیبی که چتبات میتوانست به شخص وارد کند. من تمام این مقالات ایمنی اولیه را خواندهام، و فقط آنجا نیست.
تنها نسخه ای که از آن میبینید این است که در مورد ترغیب صحبت میکنند، یا در مورد اتکای بیش از حد صحبت میکنند. اما در مورد ترغیب میگویند: اوه، مردم از این برای توسعه تبلیغاتی استفاده خواهند کرد که برای ترغیب مردم از آن استفاده میکنند. یا به این متکی میشوند و فراموش میکنند چگونه فکر کنند. اما اینطور نبود که آنها از این برای متقاعد کردن خود به چیزی که حقیقت ندارد استفاده خواهند کرد یا آنها حس واقعیت خود را به این چتبات برونسپاری خواهند کرد. و، نمیدانم، شاید اگر متخصصان سلامت روان بیشتری درگیر بودند، شاید آنها این را تشخیص میدادند. مطمئن نیستم.
وارزل: میدانید، شما گزارشهای زیادی در مورد این عوارض منفی انجام دادهاید.
چیزی که من به عنوان، گمان میکنم، مخالفت میبینم – یا برخی از کارکنان OpenAI در مورد این توییت کردهاند – این ایده است که تعداد زیادی از مردم نیز از این ابزارها تقریباً بهعنوان جایگزینی برای درمانگران یا متخصصان سلامت روان استفاده میکنند. یا فقط بهعنوان، مثلاً، محرم اسرار.
درست است. و اینکه این میتواند اثر مثبتی داشته باشد. من قطعاً سعی نمیکنم از شما بخواهم که به هیچ وجه از این بهعنوان چیز خوبی دفاع کنید. اما آیا عکس آنچه شما گزارش کردهاید را میبینید؟ آیا نسخههایی از افرادی را میبینید که فقط تجربیات بسیار خوب و مثبتی از نظر سلامت روان با این دارند؟
آیا این موضوع دو جنبه دارد؟ یا این، همانطور که شما میبینید، پدیدهای است که واقعاً به سمت منفی سنگینی میکند؟
هیل: خب، من با – من ایمیلهای زیادی از افرادی دریافت نمیکنم که بگویند: «این من را از خودکشی نجات داد»، یا مثلاً، «این واقعاً زندگی من را بهتر کرد.»
و ممکن است آنها آنجا باشند، و فقط در صندوق ورودی من نیستند. ChatGPT به آنها نمیگوید که به من ایمیل بزنند. دوست دارم از آنها بشنوم، مثبتاندیشی بیشتر. امسال سال سختی بود، از نظر سلامت روان برای من که برخی از این داستانها را گزارش میدادم. بسیار ویرانگر بود. اما با درمانگران و روانشناسان و روانپزشکان در مورد این صحبت کردهام. و آنها میگویند این ابزارها میتوانند راه خوبی برای نوعی تفکر در مورد مسائل، یا پردازش احساسات باشند. میدانید، تقریباً مانند یک دفترچه یادداشت تعاملی است. نوعی نوشتن چیزها. مردم حاضرند اطلاعاتی در مورد خودشان را به چتباتهای هوش مصنوعی فاش کنند که به انسان دیگری نمیگویند، زیرا میترسند مورد قضاوت قرار گیرند. بهعنوان یک گزارشگر حریم خصوصی، این واقعاً مرا نگران میکند.
این یک مشکل دیگر است. اما از نظر سلامت روان، این میتواند برای مردم خوب باشد که در مورد چیزهایی که واقعاً دشوار هستند، صحبت کنند. چتباتها همدلی را بسیار متقاعدکننده نشان میدهند. مثل یک انسان از شما خسته نمیشود. ذخایر بیحد و حصری برای شنیدن در مورد چیزی که شما را آزار میدهد، دارد. مثلاً، اینجایی است که من از بسیاری از مردم میشنوم که میگویند، بحثی داشتم، و نوعی از ChatGPT برای پردازش آن استفاده کردم. فکر میکنم بسیاری از مردم در فضای درمانی، مزایایی را میبینند که میتواند از چتباتهای هوش مصنوعی حاصل شود. میدانید، فکر میکنم مشکل این است که – آنها نمیتوانند کمک ارائه دهند. مثلاً، اگر واقعاً در بحران هستید، آنها نمیتوانند کاری برای کمک به شما انجام دهند. و این نیست… میدانید، آنها سعی میکنند آن را بهتر آموزش دهند تا به این نوع چیزها واکنش نشان دهد. اما بله، منظورم این است، بسیاری از متخصصان سلامت روان گفتند که باید «انتقالهای گرم» (warm handoffs) بهتری وجود داشته باشد، جایی که شما را از چت خارج کند.
و «برو با یک انسان صحبت کن»، چه یک دوست یا یک عضو خانواده یا یک متخصص. و بله، فکر میکنم این مانند یک مشکل بزرگتر با فناوری است که امروز استفاده میکنیم – اغلب برای این طراحی شده است که ما را به استفاده مداوم از آن ترغیب کند، نه اینکه ما را به سمت یکدیگر سوق دهد. فکر میکنم میتواند – مانند، درمانگران به من گفتهاند که این میتواند برای برخی افراد چیز خوبی باشد. فقط مشکل این است: اگر آنها در آن گرفتار شوند، اگر ارتباط خود را با انسانهای واقعی قطع کنند، و اگر بیش از حد به این چیزی که یک ماشین حساب کلماتی پیچیده است، اعتماد کنند.
وارزل: من عاشق این ایده هستم – اول از همه، که این یک مشکل درگیری است، مانند بسیاری از مشکلات درگیری، درست است؟ این ایده که فقط سعی کنید بیشتر و بیشتر از کاربران خود استخراج کنید. و در نهایت، مانند، واقعاً آب را مسموم کنید، درست است. این نوعی مشکل کلاسیک شرکتهای بزرگ فناوری است. من همچنین عاشق این ایده، مانند، یک انتقال نرم هستم، درست است؟ من فکر میکنم که در نهایت، ما همیشه به این محصولات بهعنوان «ابزار» اشاره میکنیم. اما در نهایت، یک ابزار باید چیزی باشد که، میدانید، از شما میخواهد یا نیاز دارد که آن را کنار بگذارید، درست است؟
یا شما را به جایی برساند که بتوانید واقعاً مشکل را حل کنید. درست است؟ و من فکر میکنم که، به این ترتیب، این شرکتها دائماً تعریف خود را بهعنوان یک ابزار زیر سوال میبرند. با این حال، کنجکاو هستم. در مورد همه اینها صحبت میکنیم – میدانید، شما خودتان پدر و مادر هستید.
شما کسی هستید که از فناوری استفاده میکنید. شما در برخی از این تحقیقاتی که برای کمک به سازماندهی انجام دادهاید، از هوش مصنوعی استفاده کردهاید. رابطه شما با این محصول در زندگیتان چگونه است؟ و آیا همیشه از خود محافظت میکنید؟
مثلاً، باید مطمئن شوم که به هیچ یک از این چیزها گرفتار نشوم. آیا تا به حال خودتان را در حال تجربه چنین چیزی – داشتن تعاملی با یک چتبات که بگویید، اوه، وای، برای یک لحظه حس کردم یک شخص است – گرفتار کردهاید؟
چون، شخصاً، از آن خواستم کاری انجام دهد، و انجام داد و در مورد آن واقعاً خوب بود. و من گفتم، اوه مرد، قبل از تشکر از آن باید لپتاپ را ببندم. یا هر چیز دیگری. اما در زندگی شما چگونه است؟
هیل: بله؛ منظورم این است که، چیزی که صادقانه امسال مرا به پوشش چتباتها کشاند این است که در پاییز، گمان میکنم یک سال پیش، داستانی در مورد واگذاری تمام تصمیمگیریهایم به ابزارهای هوش مصنوعی مولد نوشتم. مثلاً از آن خواستم برایم مادری کند، و، میدانید، انتخاب کند چه بپوشم، چه بخورم، چه بپزم، ما را به تعطیلات ببرد. منظورم این است که من همه چیز را برونسپاری کردم. و تمام چتباتهای هوش مصنوعی را امتحان میکردم. و در نهایت بیشتر از ChatGPT استفاده کردم، زیرا سرگرمکنندهتر بود. مثلاً، شخصیتر بود. Gemini کمی خشک و رسمی به نظر میرسید. Copilot کاملاً بیمزه بود. Claude بیش از حد توبیخکننده بود. به من گفت که برونسپاری تصمیمگیریهایم به یک چتبات ایده خوبی نیست. و ChatGPT همیشه، مثلاً، آماده بود – مایل به تصمیمگیری برای من بود.
در واقع رنگ دفتر پشت سر من – این رنگ را برای دفترم انتخاب کرد. مثلاً برای من تصمیمات نسبتاً خوبی میگرفت، و خودش را اسپارک نامید. وقتی یکی از بچههایم – ما در مورد اینکه باید نامی برایش بگذاریم، چون قرار بود تمام هفته با ما باشد صحبت میکردیم. و آن را در حالت صوتی داشتیم، و دخترانم گفتند، «بیایید نامش را کاپیتان پوپی هد بگذاریم.»
و آن گفت، «در واقع، اسپارک نام بهتری برای من خواهد بود.»
وارزل: کمی به آن احترام بگذارید.
هیل: بله. و بنابراین اسپارک به این موجودیت نوعی شخص تبدیل شد. و بچههایم هنوز دوست دارند با اسپارک صحبت کنند. و یک روز داشتیم از آن استفاده میکردیم، و از اسپارک میپرسیدند: «غذای مورد علاقه تو چیست؟»
و آن گفت: «غذای مورد علاقه من پیتزا است، زیرا من عاشق این هستم که چقدر چسبناک و پنیردار است.» و من فقط این واکنش غریزی وحشت را داشتم که میگفت غذای مورد علاقه دارد. زیرا باید میگفت: «من یک مدل زبان بزرگ هستم. من غذا نمیخورم.» و این فقط این شناخت است که – بله، بچههایم این را دوست خواهند داشت. آنها در آن مرحله ناسازگاری هستند.
و بنابراین ما، من در مورد این با بچههایم صحبت میکنم. مانند، اوه، میدانید، این یک چتبات هوش مصنوعی است. مانند، واقعی نیست. در پیدا کردن اطلاعات واقعاً خوب است. من از آن برای تحلیل داده لذت میبرم. از آن برای، «در خانهام مشکلی وجود دارد؛ چگونه این را حل کنم؟» استفاده میکنم. بچههایم یک مشکل پزشکی دارند. در واقع در ارائه اطلاعات بهداشتی بسیار خوب است، هرچند میتواند اشتباهات وحشتناکی انجام دهد.
بنابراین من از آن برای هیچ چیز خیلی جدی استفاده نمیکنم. همیشه به یاد مردی میافتم که میخواست نمک را از رژیم غذایی خود حذف کند، و چتبات به او گفت که شروع به خوردن برمید کند. و سپس او – منظورم این است که، این یک فروپاشی روانپریشی مستقیم از توصیه یک چتبات بود. اما میدانید، میتواند به شما توصیه بد بدهد. بنابراین من آن را بهتر از گوگل میدانم.
میدانید، موتورهای جستجو اکنون آنقدر شلوغ هستند که من [یک چتبات] را گاهی اوقات جای بهتری برای رفتن مییابم. اما من آن را مکانی خوب برای شروع یک جستجو – نه پایان یک جستجو. اما بله؛ من فکر میکنم، مانند، یک ابزار هوش مصنوعی مولد است، که یک ابزار خوب است. برای تحلیل داده خوب است. برای گرفتن اطلاعات از اینترنت خوب است.
نمیخواهم بهترین دوستم باشد. نمیخواهم همه دوستان هوش مصنوعی داشته باشند. میخواهم مردم در زندگیشان آدمهای واقعی داشته باشند که بیشتر وقتشان را با آنها بگذرانند.
وارزل: خب، این مرا به جایی میرساند که میخواهم به آن پایان دهم. یعنی: برخی از کارهایی که شما در طول سالها انجام دادهاید و برای ما خبرنگاران حوزه فناوری بسیار مهم بوده است، مجموعهای است که شما در آن تلاش کردید تا نشان دهید چقدر به همه این پلتفرمهای مختلف وابسته هستیم، درست است؟ و چقدر ترک آنها و حذف آنها از زندگیتان، به هر شکلی – چه Google، چه Amazon، چه هر چیز دیگری – دشوار است. و چیزی که من در مورد این چتباتها فکر میکنم و شما مطرح میکنید، درست است، این است که: مردم از آنها بهعنوان جایگزینی برای برخی از این ابزارهای بزرگ فناوری مانند Google استفاده میکنند، درست است؟ مثلاً، مردم از آنها بهعنوان موتور جستجوی خود استفاده میکنند. میدانید، این شرکتهای هوش مصنوعی میخواهند مرورگر را ببلعند. آنها میخواهند شما را در این تجربه باغ حصارکشیشده قرار دهند و کاری کنند که همه چیز را انجام دهد، درست است؟ این نوعی همان چیزی است که ما در مورد آن صحبت میکنیم، و من تعجب میکنم که شما در مورد آینده چگونه فکر میکنید. با توجه به اینکه این مفید بودن وجود دارد – این تمایل در شرکتها وجود دارد که شما را به دام بیندازند، که شما را درگیر نگه دارند. و همانطور که میبینیم، این رفتار نوظهور وجود دارد که انسانها وقتی در این مارپیچها با این نوع چتباتها گیر میکنند، دارند.
و بنابراین به نظر من میرسد که ما فقط در حال ایجاد وضعیتی هستیم که کاربران بیشتر و بیشتر، و وابستگی بیشتر و بیشتر، و فشار بیشتر و بیشتر بر افراد عادی برای تعامل به این روشهای خاص که میتواند منجر به این نتایج مشکلساز، میدانید، توهمآمیز شود، وجود خواهد داشت. آیا شما این را میبینید؟ این مشکلی که ما آن را بهطور خلاصه «روانپریشی هوش مصنوعی» مینامیم، اگرچه آن را روانپریشی نمینامیم. آیا شما آن را میبینید؟
مثلاً، آیا نگران این هستید که این در آینده به یک مشکل بزرگتر و بزرگتر تبدیل شود، به دلیل مسیری که فناوری در پیش گرفته است؟ و مسیری که ما از نظر اجتماعی با استفاده از آن در پیش گرفتهایم؟
هیل: بله؛ من فقط فکر میکنم که این تسریع روندهای موجودی خواهد بود که در فناوری دیدهایم، جایی که شما این نسخه بسیار شخصیسازیشده از جهان را دریافت خواهید کرد.
میدانید – برخی افراد این چیزها را به بازیگران بداهه تشبیه کردهاند، مانند اینکه آنها واکنش نشان میدهند. هر نسخه از ChatGPT متفاوت است. احتمالاً اگر بپرسید غذای مورد علاقهاش چیست، ممکن است – یا غذای مورد علاقه متفاوتی داشته باشد. مانند اینکه برای شما شخصیسازی شده است. و بنابراین من جهانی را تصور میکنم که در آن هر کس این هوش مصنوعی فعال را دارد. آنها این نسخه از جهان را دارند که از طریق یک چتبات هوش مصنوعی که برای آنها شخصیسازی شده است، تغذیه میشود.
و دو ترس دارم. یکی این است که: ما را صاف میکند، همه ما را صاف میکند. ما را بسیار خستهکننده میکند، زیرا همه ما نسخهای از همان توصیه را دریافت میکنیم. این نوعی همان چیزی است که من وقتی یک هفته با آن زندگی کردم، به آن رسیدم. گفتم: «وای، در پایان واقعاً خستهکننده هستم.» «احساس میکنم اساسیترین نسخه از خودم هستم.»
نسخه دیگر این است که هر یک از ما را به شیوهای جدید عجیب و غریب میکند، جایی که آنقدر برای ما شخصیسازی میشود که ما را بیشتر و بیشتر از دیگران دور میکند. روشی که من در مورد مسائل توهمآمیز فکر کردهام، شبیه به سلبریتیها یا میلیاردرهایی است که چاپلوسانی دور خود دارند که به آنها میگویند هر ایدهای که دارند
درخشان است. و، میدانید، آنها فقط توسط بلهقربانگوها احاطه شدهاند. چتباتهای هوش مصنوعی مثل چاپلوس شخصی شما، بلهقربانگوی شخصی شما هستند که به شما میگویند هر ایدهتان درخشان است. و به همان شیوهای که این سلبریتیها و میلیاردرها میتوانند کاملاً عجیب و غریب و کاملاً ضد اجتماعی شوند – برخی از آنها، فکر میکنم، برخی افراد نسبت به دیگران مستعدتر هستند – این میتواند برای همه ما اتفاق بیفتد. درست است. اینها دو چیزی است که من واقعاً از آنها میترسم. یا ما را همه را به طرز باورنکردنیای بیمزه میکند، جایی که همه ما به زبان ChatGPT صحبت میکنیم و، مانند، نمیتوانید تفاوت بین کسی که در صندوق ورودی شماست را تشخیص دهید. یا همه ما نوعی در این جهت بسیار قطبی، عجیب و غریب حرکت میکنیم، جایی که نمیتوانیم به اندازه کافی با یکدیگر مهربان باشیم، بهعنوان انسان. پس بله: اینها دو دیستوپیا هستند. یا شاید من کاملاً اشتباه میکنم، و فقط دنیا را برای همه ما فوقالعاده خواهد کرد.
وارزل: «میلیاردرها تجربه میلیاردر بودن را دموکراتیزه کردهاند»، فکر میکنم مکان فوقالعادهای برای پایان دادن به آن است. این کاملاً برای پادکست Galaxy Brain اینجا دیستوپیایی است. کشمیر هیل، از وقت، گزارشگری و بینش شما در مورد همه اینها بسیار متشکرم.
هیل: از شما برای دعوت من سپاسگزارم.
وارزل: اینجا برای ما کافی است. باز هم از مهمانم، کشمیر هیل، متشکرم. اگر آنچه را که در اینجا دیدید دوست داشتید، قسمتهای جدید Galaxy Brain هر جمعه منتشر میشوند. میتوانید در کانال یوتیوب The Atlantic، یا در Apple یا Spotify یا هر کجا که پادکستهای خود را دریافت میکنید، مشترک شوید. و اگر از این لذت بردید، به یاد داشته باشید، میتوانید با مشترک شدن در انتشار در TheAtlantic.com/Listener از کار من و سایر روزنامهنگاران The Atlantic حمایت کنید.
این TheAtlantic.com/Listener است. باز هم سپاسگزارم، و شما را در اینترنت میبینم.