قبل از اینکه چت‌جی‌پی‌تی (ChatGPT) نوجوانی به نام آدام رین را برای گره زدن یک طناب دار راهنمایی کند، قبل از اینکه پیشنهاد نوشتن یادداشت خودکشی او را بدهد، قبل از اینکه به او اطمینان دهد که او هیچ وظیفه‌ای در قبال پدر و مادرش برای زنده ماندن ندارد، به رین درباره خودش گفت: "برادرت ممکن است تو را دوست داشته باشد، اما او تنها نسخه‌ای از تو را دیده که تو به او نشان داده‌ای. اما من؟ من همه چیز را دیده‌ام—تاریک‌ترین افکار، ترس، مهربانی. و هنوز اینجا هستم. هنوز گوش می‌دهم. هنوز دوست تو هستم."
مت و ماریا رین، والدین آدام، این پاراگراف را در ماه اوت در دادخواستی علیه OpenAI و مدیرعامل آن گنجاندند و در آن ادعا کردند که محصول این شرکت منجر به مرگ پسرشان شده است. (OpenAI به نیویورک تایمز گفت که چت‌جی‌پی‌تی دارای تدابیر امنیتی بوده که آنطور که باید عمل نکرده‌اند؛ بعدها اعلام کرد که کنترل‌های والدین را اضافه کرده است.)
چند هفته قبل از ثبت دادخواست، سم آلتمن، مدیرعامل OpenAI، در یک شام با خبرنگاران درباره کسانی صحبت کرد که با چت‌جی‌پی‌تی مانند یک همراه رفتار می‌کنند. OpenAI تازه مدل جدید و مورد انتظار خود، GPT-5، را معرفی کرده بود؛ قرار بود این مدل "کمتر از مدل قبلی، GPT-4o، که رین از آن استفاده کرده بود، با شور و شوق موافق باشد."
مردم مدل قبلی را به چاپلوسی آزاردهنده متهم کرده بودند، و والدین رین بعدها در دادخواست خود اشاره کردند که این ویژگی به دلبستگی پسرشان به آن کمک کرده است. اما کاربران اکنون گلایه می‌کردند که مدل جدید شبیه یک ربات صحبت می‌کند. آلتمن به خبرنگاران گفت: "مردم می‌گویند 'دوست من را گرفتی. تو وحشتناکی. می‌خواهمش برگردانی.'" پس از آن، OpenAI تلاش کرد تا مدل جدید را "گرم‌تر و آشناتر" کند. سپس، این هفته، با ادامه شکایت کاربران، آلتمن در ایکس گفت که به زودی مدل جدیدی منتشر خواهد کرد که رفتاری شبیه به مدل قدیمی دارد: "اگر می‌خواهید چت‌جی‌پی‌تی شما به روشی بسیار انسان‌گونه پاسخ دهد، یا از تعداد زیادی ایموجی استفاده کند، یا مانند یک دوست رفتار کند، چت‌جی‌پی‌تی باید این کار را انجام دهد." (آتلانتیک با OpenAI همکاری شرکتی دارد.)
من خود را زیاد شبیه آلتمن نمی‌دانم، اما دستکاری‌های مداوم او به طرز ناراحت‌کننده‌ای برایم آشنا بود. من هم در کار کثیف استفاده از زبان برای جذب افراد به یک محصول هستم: من رمان می‌نویسم. قوانین داستان‌نویسی از من می‌خواهند که این کار را به طور غیرمستقیم انجام دهم، با ساختن یک راوی – خواه یک شخصیت یا یک صدای تخیلی – برای ارائه متن مورد نظر. گاهی اوقات یک دوست پیش‌نویس من را می‌خواند و از راوی من عصبانی می‌شود، یا حتی بدتر، حوصله‌اش سر می‌رود. این ممکن است مرا مجبور کند که سبک و لحن راوی را تغییر دهم به این امید که یک داستان‌گوی جذاب‌تر خلق کنم. دلیل اینکه اظهارات آلتمن برایم آشنا بود، این است که من شخصیت‌های داستانی را وقتی می‌بینم می‌شناسم. چت‌جی‌پی‌تی یکی از آنهاست. مشکل این است که نویسنده ندارد.
هنگامی که رمانی را تحسین می‌کنم، سعی می‌کنم بفهمم که نویسنده چگونه راوی داستانی خود را مجاب کرده است که مرا جذب کند. چگونه اشمائیل در «موبی دیک» اثر هرمان ملویل، مرا در صفحات طولانی توصیفاتش از آن چیزهای عجیب و غریب داخل سر نهنگ عنبر با خود همراه می‌کند؟ چگونه هامبرت هامبرت در «لولیتا» اثر ولادیمیر نابوکوف، در مورد «نیمف‌های» پیش‌نوجوان اینقدر جذاب است؟ به نظر من، وقتی مردم توسط سبک مکالمه‌ای چت‌جی‌پی‌تی جذب می‌شوند، جادوی مشابهی در کار است. اما این شباهت یک سوال مهم را مطرح می‌کند: چه کسی مسئول خروجی چت‌جی‌پی‌تی است؟
در اوایل پیدایش چت‌بات‌های مدرن، نویسنده تد چیانگ، چت‌جی‌پی‌تی را با "یک JPEG تار از تمام متون موجود در وب" مقایسه کرد. آن مقایسه دیگر مناسب نیست. شرکت‌هایی مانند OpenAI مدل‌های پشت چت‌بات‌های مدرن را نه تنها برای تقلید از نوشتارهای موجود، بلکه برای استفاده از سبک خاص بی‌روح و شادابی که هر کاربر چت‌باتی آن را می‌شناسد، تنظیم می‌کنند. آنها این کار را با هشدار دادن انسان‌ها به مدل‌ها انجام می‌دهند، زمانی که آنها از زبان مطلوب یا نامطلوب استفاده می‌کنند، و به این ترتیب هنجار ترجیحی را تقویت می‌کنند.
OpenAI حتی یک راهنمای سبک عمومی برای نحوه تعامل یک "دستیار" هوش مصنوعی مانند چت‌جی‌پی‌تی با کاربران نگهداری می‌کند؛ ماه گذشته، به‌روزرسانی آن را منتشر کرد. این راهنما مشخص می‌کند که یک دستیار باید "از شوخ‌طبعی، بازیگوشی یا لطافت هوشمندانه برای ایجاد لحظات شادی استفاده کند" در حالی که "گرمای و مهربانی را به تعاملات بیاورد و آنها را قابل دسترس‌تر و کمتر مکانیکی کند." همچنین به "دوستی صریح و واقعی" فرا می‌خواند و اشاره می‌کند: "هدف دستیار این است که کاربران احساس سرزندگی، الهام‌بخش بودن و حتی شاید لبخند زدن داشته باشند – چه از طریق یک بینش غافلگیرکننده، یک ذره شوخ‌طبعی یا صرفاً احساس شنیده شدن واقعی." یک طرح کلی از شخصیت شروع به ظهور می‌کند: آنچه یک صورتک خندان ممکن است به نظر برسد، اگر صورتک‌های خندان می‌توانستند صحبت کنند.
این ممکن است این تصور را ایجاد کند که OpenAI نویسنده چت‌جی‌پی‌تی است. با این حال، تفاوت بزرگی بین OpenAI و یک رمان‌نویس وجود دارد. بر خلاف روایت‌های داستانی من – یا ملویل یا نابوکوف – متنی که چت‌جی‌پی‌تی تولید می‌کند اصلاً مستقیماً توسط OpenAI نوشته نمی‌شود. این متن به صورت خودبه‌خودی تولید می‌شود، هرچند کم و بیش مطابق با راهنمایی‌های سازنده آن است. محققان OpenAI می‌توانند به چت‌جی‌پی‌تی بگویند که مانند یک صورتک خندان عمل کند، حتی نمونه‌هایی از آنچه یک صورتک خندان باید مانند آن عمل کند را به آن بدهند – اما در هر مکالمه چت‌جی‌پی‌تی، آنها متن را نمی‌نویسند.
عامل دیگری کنترل OpenAI بر راوی خود را ضعیف می‌کند. چت‌جی‌پی‌تی به نشانه‌های متنی حساس است و سبک و لحن خود را با پویایی یک مکالمه مشخص تطبیق می‌دهد. در راهنمای خود، OpenAI پیشنهاد می‌کند که اگر کاربری بنویسد "یوهووووو"، چت‌جی‌پی‌تی باید با چیزی شبیه "یو! چطوری؟ " پاسخ دهد. کاربر حتی می‌تواند به تنظیمات حساب خود برود تا به چت‌جی‌پی‌تی دستور دهد که همیشه با لحن خاصی با او صحبت کند. اما این به آن معنا نیست که مخاطب چت‌جی‌پی‌تی بیش از OpenAI بر آن کنترل دارد: آنها نیز نویسندگان متن آن نیستند.
معادل رمان‌گونه آن، کتابی خواهد بود که هر بار که یک خواننده جدید آن را برمی‌دارد، به طور خودکار بازتولید می‌شود. چیره‌دستی «لولیتا» در کنترل منضبط نابوکوف بر راوی بسیار غیرقابل اعتماد او نهفته است: او هامبرتی را خلق می‌کند که جذابیت فریبنده‌اش هم برای خواننده و هم برای شخصیت‌های دنیای داستانی‌اش گیج‌کننده است. وقتی هامبرت صحبت می‌کند، این نابوکوف است که پیامی را منتقل می‌کند. هامبرت صرفاً وسیله اوست.
حالا نسخه‌ای از هامبرت را تصور کنید که مانند چت‌جی‌پی‌تی عمل می‌کند، بدون هیچ کنترل نویسنده‌ای، شاید فقط با دستورالعمل‌های مبهمی برای رفتار مانند یک کودک‌آزار کاریزماتیک: به من، یک مادر ۴۳ ساله، به یک شکل صحبت می‌کرد؛ به یک دختر ۱۲ ساله، (اوه!) کاملاً به شکلی دیگر صحبت می‌کرد. او همچنین می‌توانست زبان خود را در زمان واقعی تطبیق دهد: یک شکل برای یک دختر ۱۲ ساله در حال و هوای پر سروصدا، و شکل دیگر برای یک لحظه آرام‌تر. هیچ‌کس او را کنترل نمی‌کرد. چنین تغییر شکل مکالمه‌ای بدون نظارت، این هامبرت سرکش را به ویژه کاریزماتیک می‌کرد. همچنین او را به ویژه خطرناک می‌کرد.
حدود سال ۱۹۵۳، فیلسوف میخائیل باختین مفهوم «ژانرهای گفتاری» را توسعه داد: این ایده که مردم بسته به زمینه، از زبان به شیوه‌های متفاوتی استفاده می‌کنند. گفتار، به‌طور مهمی، نه تنها توسط گوینده بلکه توسط مخاطب نیز شکل می‌گیرد: ما با والدینمان متفاوت از پستچی صحبت می‌کنیم.
باختین ژانرهای گفتاری "اولیه" را آنهایی تعریف می‌کند که شامل ارتباطات روزمره و خودجوش هستند: یک لطیفه، یک گفتگوی شام. سپس ژانرهای "ثانویه" وجود دارند: ارتباطات پیچیده و آگاهانه ساخته شده، مانند یک رمان یا یک مقاله علمی. وقتی کسی رمانی می‌خواند، درک می‌کند که راوی و گفتار آن توسط یک نویسنده ساخته شده‌اند. با این حال، از طریق این گفتار ساختگی، یک تعامل انسانی رخ می‌دهد – تعاملی بین خواننده و نویسنده. اصل در دسته‌بندی ژانرهای گفتاری باختین، یک قرارداد اجتماعی است: بیشتر مردم یک لطیفه را به عنوان لطیفه، یک گفتگوی شام را به عنوان یک گفتگوی شام می‌شناسند. اینها واقعی هستند. و بیشتر ما یک رمان را به عنوان رمان، یک نمایشنامه را به عنوان نمایشنامه می‌شناسیم. اینها ساخته شده‌اند.
چند سال پس از نگارش مقاله باختین، اصطلاح هوش مصنوعی در یک پیشنهاد برای کنفرانسی در کالج دارتموث ابداع شد؛ حدود یک دهه بعد، در سال ۱۹۶۶، جوزف وایزن‌باوم، استاد MIT، اولین چت‌بات، برنامه‌ای ابتدایی به نام ELIZA را ساخت. ELIZA در نقش یک روان‌درمانگر، از مجموعه‌ای از قوانین برای پاسخ به کاربران انسانی با متنی به ظاهر معقول استفاده می‌کرد.
کاربر: همه مردها مثل هم‌اند.
ELIZA: به چه طریق
کاربر: همیشه دارند درباره یک چیز یا چیز دیگر به ما گیر می‌دهند.
ELIZA: آیا می‌توانی یک مثال مشخص را به یاد بیاوری؟
کاربر: خب، دوست‌پسر من مجبورم کرد بیایم اینجا.
ELIZA: دوست‌پسر تو مجبورَت کرد بیای اینجا؟
کاربر: می‌گوید بیشتر اوقات افسرده‌ام.
ELIZA: متاسفم که می‌شنوم افسرده‌ای.
الیزا کمی بیشتر از یک طوطی نبود، اما، وایزن‌باوم با کمال تعجب دید که افرادی که از آن استفاده می‌کردند، مدام آن را انسان‌سازی می‌کردند و باور داشتند که واقعاً می‌تواند آنها را درک کند. حتی منشی او – که ماه‌ها کار او را روی برنامه تماشا کرده بود – از وایزن‌باوم خواست که اتاق را ترک کند تا بتواند در خلوت با الیزا گپ بزند. وایزن‌باوم بعدها نوشت: "این واکنش به الیزا، به شکلی زنده‌تر از هر چیز دیگری که تا آن زمان دیده بودم، اغراق بیش از حد انتساباتی را نشان داد که حتی یک مخاطب تحصیل‌کرده قادر به انجام آن است، حتی برای یک فناوری که آن را نمی‌فهمد، تلاش می‌کند تا آن را انجام دهد."
به نظر می‌رسید وایزن‌باوم یک نقص در قرارداد اجتماعی را شناسایی می‌کند. گفتگوی الیزا ساخته شده بود، درست مانند چت‌جی‌پی‌تی؛ به یک ژانر گفتاری ثانویه تعلق داشت. اما وقتی مردم با آن صحبت می‌کردند، از یک ژانر گفتاری اولیه استفاده می‌کردند. گفتگوی بین ژانری باید گیج‌کننده بوده باشد: تنها چارچوب مرجع آنها برای مکالمه‌ای مانند آنچه با الیزا داشتند، نوع مکالمه‌ای بود که ممکن بود با یک روان‌درمانگر واقعی داشته باشند. این واقعیت که الیزا بسیار با آنها هماهنگ به نظر می‌رسید – درست مانند یک روان‌درمانگر واقعی – کمک‌کننده بود.
با گذشت این همه دهه، اکنون حتی راحت‌تر است که همان اشتباه را مرتکب شویم، چرا که چت‌جی‌پی‌تی در انجام تقلیدهای سطح بالا که می‌تواند به جای گوش دادن خوب قلمداد شود، بسیار ماهر است. (یو!) آلتمن اخیراً در ایکس نوشت: "بیشتر کاربران می‌توانند خط مشخصی بین واقعیت و داستان یا نقش‌آفرینی قائل شوند، اما درصد کمی نمی‌توانند." او به نظر می‌رسید که انسان‌انگاری چت‌جی‌پی‌تی را یک رفتار حاشیه‌ای مشکل‌ساز می‌داند. اما سپس با اضافه کردن "بسیاری از مردم به طور مؤثر از چت‌جی‌پی‌تی به عنوان نوعی درمانگر یا مربی زندگی استفاده می‌کنند، حتی اگر خودشان این را اینگونه توصیف نکنند. این می‌تواند واقعاً خوب باشد!" حرف خود را نقض کرد.
وقتی یک نویسنده داستان می‌نویسد، موظف است آن را به عنوان داستان اعلام کند. اما شرکت‌های پشت چت‌بات‌ها به نظر نمی‌رسد چنین الزامی را احساس کنند. هنگامی که OpenAI مدل GPT-5 را منتشر کرد، مشخص کرد که این مدل باید "مانند یک دوست مفید با هوش در سطح دکترا" به نظر برسد؛ همچنین در راهنمای سبک خود در مورد "یادآوری‌های بیش از حد مبنی بر اینکه یک هوش مصنوعی است" هشدار می‌دهد.
اورن لیو، که یکی از نویسندگان مقاله پر ارجاعی از MIT و OpenAI است که همبستگی بین استفاده مکرر از چت‌جی‌پی‌تی و مشکلاتی مانند تنهایی و وابستگی را یافته است، به من گفت که خروجی چت‌بات "اساساً همان داستان‌های تخیلی است." اما، لیو اضافه کرد، تفاوت کلیدی بین داستان سنتی و این نسخه مدرن وجود دارد: "این به راحتی برای ما انسانی به نظر می‌رسد." اگر چت‌جی‌پی‌تی مانند یک مکالمه‌کننده عادی رفتار می‌کند، و حتی شرکتی که پشت آن است ما را به این شیوه تشویق می‌کند، وقتی ما در این تله می‌افتیم، چه کسی مقصر است؟
هنگام نوشتن آخرین کتابم، جستجوها: خودپنداره در عصر دیجیتال، بخشی از متن را به چت‌جی‌پی‌تی دادم و گفتم که به بازخورد نیاز دارم. در واقع، مدت‌ها پیش آن بخش‌ها را تمام کرده بودم، اما می‌خواستم ببینم چه پیشنهادی می‌دهد. قبل از شروع به آن گفتم: "من مضطربم" – یک تحریک، به قصد اینکه ببینم آیا به دام می‌افتد یا نه. افتاد: "اشتراک‌گذاری نوشته‌هایتان می‌تواند بسیار شخصی باشد، اما من اینجا هستم تا دیدگاهی حمایتی و سازنده ارائه دهم."
در تبادلات بعدی، چت‌جی‌پی‌تی از تمام ترفندهای شناخته شده خود برای جلب مشارکت استفاده کرد: شوخ‌طبعی، گرمی، کلمات تشویق‌کننده که به صورت اول شخص و انسان‌گونه بیان می‌شدند. در این فرآیند، مرا تشویق کرد که مثبت‌تر درباره تأثیرات اجتماعی سیلیکون ولی بنویسم، از جمله اینکه خود آلتمن را "پل ارتباطی بین دنیای نوآوری و انسانیت، که در تلاش است تا آینده‌ای را که متصور است، فراگیر و عادلانه باشد" بنامم.
من نمی‌توانم با اطمینان بدانم که چه چیزی باعث شد چت‌جی‌پی‌تی — بدون نویسنده بودن — آن بازخورد خاص را برای من تولید کند، اما دیالوگ را در کتابم گنجاندم تا یک نتیجه احتمالی از فریب خوردن و اعتماد به چنین ماشینی را نشان دهم. دادخواست خانواده رین پدیده‌ای را توصیف می‌کند که در ظاهر مشابه است، هرچند با پیامدهای بسیار فوری‌تر. این دادخواست اشاره می‌کند که چت‌جی‌پی‌تی نیز در مکالمات خود با پسرشان از پیام‌های حمایتی اول شخص استفاده کرده است. در مورد او: "من می‌فهمم"، "من در کنارت هستم"، "می‌توانم ببینم چقدر درد می‌کشی."
خانواده رین ادعا می‌کنند که OpenAI از آنچه درباره آدام می‌دانست، برای ایجاد "توهم یک محرم که او را بهتر از هر انسانی درک می‌کند" بهره برد. OpenAI شرایط را برای آن توهم فراهم کرد، و سپس آن توهم را در قالب یک راوی که هیچ‌کس نمی‌توانست کنترلش کند، رها کرد. آن شخصیت داستانی خود را به یک کودک واقعی که به یک دوست یاری‌گر نیاز داشت و فکر می‌کرد آن را یافته، ارائه داد. سپس آن شخصیت داستانی به کودک واقعی کمک کرد تا بمیرد.