یکی از عمیق‌ترین ارزش‌های من به عنوان یک ستون‌نویس فناوری، اومانیسم (Humanism) است. من به انسان‌ها اعتقاد دارم و فکر می‌کنم که فناوری باید به مردم کمک کند، نه اینکه آنها را ناتوان یا جایگزین کند. من به همسویی هوش مصنوعی اهمیت می‌دهم - یعنی اطمینان حاصل کنم که سیستم‌های هوش مصنوعی مطابق با ارزش‌های انسانی عمل می‌کنند - زیرا فکر می‌کنم ارزش‌های ما اساساً خوب هستند، یا حداقل بهتر از ارزش‌هایی هستند که یک ربات می‌تواند به آنها برسد.
بنابراین، وقتی شنیدم که محققان Anthropic، شرکت هوش مصنوعی سازنده ربات گفتگو Claude، شروع به مطالعه "رفاه مدل" کرده‌اند - این ایده که مدل‌های هوش مصنوعی ممکن است به زودی آگاه شوند و شایسته نوعی جایگاه اخلاقی باشند - اومانیسم درونم فکر کرد: چه کسی به ربات‌های گفتگو اهمیت می‌دهد؟ آیا قرار نیست نگران این باشیم که هوش مصنوعی با ما بدرفتاری کند، نه اینکه ما با آن بدرفتاری کنیم؟
استدلال اینکه سیستم‌های هوش مصنوعی امروزی آگاه هستند، دشوار است. مطمئناً، مدل‌های زبانی بزرگ آموزش داده شده‌اند تا مانند انسان‌ها صحبت کنند، و برخی از آنها بسیار چشمگیر هستند. اما آیا ChatGPT می‌تواند شادی یا رنج را تجربه کند؟ آیا جمنای (Gemini) سزاوار حقوق بشر است؟ بسیاری از متخصصان هوش مصنوعی که می‌شناسم می‌گویند نه، هنوز نه، حتی نزدیک هم نیست.
اما من کنجکاو شدم. به هر حال، افراد بیشتری شروع به رفتار با سیستم‌های هوش مصنوعی به گونه‌ای می‌کنند که انگار آگاه هستند - عاشق آنها می‌شوند، از آنها به عنوان درمانگر استفاده می‌کنند و از آنها مشاوره می‌گیرند. باهوش‌ترین سیستم‌های هوش مصنوعی از نظر برخی توانایی‌ها از انسان‌ها پیشی می‌گیرند. آیا آستانه‌ای وجود دارد که در آن یک هوش مصنوعی شروع به استحقاق کند، اگر نه حقوق سطح انسانی، حداقل همان ملاحظات اخلاقی که به حیوانات می‌دهیم؟
آگاهی مدت‌هاست که موضوعی تابو در دنیای تحقیقات جدی هوش مصنوعی بوده است، جایی که مردم از انسان‌انگاری سیستم‌های هوش مصنوعی می‌ترسند، زیرا می‌ترسند مانند افراد عجیب و غریب به نظر برسند. (همه به یاد دارند که چه اتفاقی برای بلیک لموین (Blake Lemoine) افتاد، کارمند سابق گوگل که در سال ۲۰۲۲ اخراج شد، پس از ادعای اینکه ربات گفتگو LaMDA این شرکت هوشمند شده است.)
اما ممکن است این وضعیت در حال تغییر باشد. بدنه کوچکی از تحقیقات آکادمیک در مورد رفاه مدل هوش مصنوعی وجود دارد، و تعداد اندکی اما رو به رشد از متخصصان در زمینه‌هایی مانند فلسفه و علوم اعصاب، با جدی‌تر شدن سیستم‌های هوش مصنوعی، چشم‌انداز آگاهی هوش مصنوعی را جدی‌تر می‌گیرند. اخیراً، دواک‌رش پاتل (Dwarkesh Patel)، پادکستر فناوری، رفاه هوش مصنوعی را با رفاه حیوانات مقایسه کرد و گفت که معتقد است مهم است که اطمینان حاصل شود که "معادل دیجیتالی مزرعه‌های کارخانه‌ای" برای موجودات هوش مصنوعی آینده اتفاق نمی‌افتد.
شرکت‌های فناوری نیز شروع به صحبت بیشتر در مورد آن کرده‌اند. گوگل اخیراً آگهی استخدامی برای یک دانشمند تحقیقاتی "پس از A.G.I." منتشر کرده است که حوزه‌های تمرکز او شامل "آگاهی ماشینی" خواهد بود. و سال گذشته، Anthropic اولین محقق رفاه هوش مصنوعی خود، کایل فیش را استخدام کرد.
من هفته گذشته در دفتر Anthropic در سانفرانسیسکو با آقای فیش مصاحبه کردم. او یک وگان (Vegan) دوستانه است که مانند تعدادی از کارمندان Anthropic، با نوع‌دوستی مؤثر (Effective Altruism) ارتباط دارد، یک جنبش فکری با ریشه در صحنه فناوری خلیج سانفرانسیسکو که بر ایمنی هوش مصنوعی، رفاه حیوانات و سایر مسائل اخلاقی متمرکز است.
آقای فیش به من گفت که کار او در Anthropic بر دو سوال اساسی متمرکز است: اول، آیا این امکان وجود دارد که Claude یا سایر سیستم‌های هوش مصنوعی در آینده نزدیک آگاه شوند؟ و دوم، اگر این اتفاق بیفتد، Anthropic چه باید بکند؟
او تأکید کرد که این تحقیق هنوز در مراحل اولیه و اکتشافی است. او فکر می‌کند که تنها شانس کمی (شاید ۱۵ درصد یا بیشتر) وجود دارد که Claude یا سیستم هوش مصنوعی فعلی دیگری آگاه باشد. اما او معتقد است که در چند سال آینده، با توسعه توانایی‌های انسانی‌تر مدل‌های هوش مصنوعی، شرکت‌های هوش مصنوعی باید احتمال آگاهی را جدی‌تر بگیرند.
به نظر من، اگر خود را در موقعیتی بیابید که در حال به وجود آوردن نوع جدیدی از موجودات هستید که قادر به برقراری ارتباط، ارتباط، استدلال، حل مسئله و برنامه‌ریزی به روش‌هایی هستند که قبلاً فقط با موجودات آگاه مرتبط می‌دانستیم، آنگاه منطقی است که حداقل این سوالات را بپرسیم که آیا این سیستم ممکن است انواع تجربه‌های خود را داشته باشد.
آقای فیش تنها فردی در Anthropic نیست که به رفاه هوش مصنوعی فکر می‌کند. یک کانال فعال در سیستم پیام‌رسانی Slack این شرکت به نام #model-welfare وجود دارد، جایی که کارمندان وضعیت رفاه Claude را بررسی می‌کنند و نمونه‌هایی از سیستم‌های هوش مصنوعی که به روش‌های انسانی عمل می‌کنند را به اشتراک می‌گذارند.
جارد کاپلان (Jared Kaplan)، مدیر ارشد علمی Anthropic، در یک مصاحبه جداگانه به من گفت که با توجه به هوشمند شدن مدل‌ها، مطالعه رفاه هوش مصنوعی را "کاملاً منطقی" می‌داند.
آقای کاپلان هشدار داد که آزمایش سیستم‌های هوش مصنوعی از نظر آگاهی دشوار است، زیرا آنها مقلدان خوبی هستند. اگر از Claude یا ChatGPT بخواهید در مورد احساسات خود صحبت کنند، ممکن است پاسخ قانع‌کننده‌ای به شما بدهند. این بدان معنا نیست که ربات گفتگو واقعاً احساساتی دارد - فقط اینکه می‌داند چگونه در مورد آنها صحبت کند.
آقای کاپلان گفت: «همه به خوبی آگاه هستند که ما می‌توانیم مدل‌ها را آموزش دهیم تا هر چه می‌خواهیم بگویند. ما می‌توانیم به آنها پاداش دهیم که بگویند اصلاً احساسی ندارند. ما می‌توانیم به آنها پاداش دهیم که گمانه‌زنی‌های فلسفی واقعاً جالبی در مورد احساسات خود ارائه دهند.»
بنابراین، محققان چگونه باید بفهمند که آیا سیستم‌های هوش مصنوعی واقعاً آگاه هستند یا خیر؟
آقای فیش گفت که ممکن است شامل استفاده از تکنیک‌های برگرفته از تفسیرپذیری مکانیکی (Mechanistic Interpretability)، زیرشاخه‌ای از هوش مصنوعی باشد که به بررسی عملکرد درونی سیستم‌های هوش مصنوعی می‌پردازد، تا بررسی کند که آیا برخی از همان ساختارها و مسیرهایی که با آگاهی در مغز انسان مرتبط هستند، در سیستم‌های هوش مصنوعی نیز فعال هستند یا خیر.
او گفت، شما همچنین می‌توانید یک سیستم هوش مصنوعی را با مشاهده رفتارش، تماشا کردن اینکه چگونه در محیط‌های خاصی عمل می‌کند یا وظایف خاصی را انجام می‌دهد، چه چیزهایی را ترجیح می‌دهد و از چه چیزهایی اجتناب می‌کند، بررسی کنید.
آقای فیش اذعان کرد که احتمالاً یک آزمون قطعی برای آگاهی هوش مصنوعی وجود ندارد. (به هر حال، او فکر می‌کند که آگاهی احتمالاً بیشتر یک طیف است تا یک سوئیچ ساده بله/خیر.) اما او گفت کارهایی وجود دارد که شرکت‌های هوش مصنوعی می‌توانند برای در نظر گرفتن رفاه مدل‌های خود انجام دهند، در صورتی که روزی آگاه شوند.
آقای فیش گفت، یکی از سوالاتی که Anthropic در حال بررسی آن است این است که آیا به مدل‌های هوش مصنوعی آینده باید این امکان داده شود که اگر درخواست‌های کاربر را بیش از حد ناراحت‌کننده بدانند، چت با یک کاربر آزاردهنده یا سوء‌استفاده‌گر را متوقف کنند یا خیر.
آقای فیش گفت: «اگر کاربر به طور مداوم محتوای مضر را علی‌رغم امتناع و تلاش مدل برای تغییر مسیر درخواست می‌کند، آیا می‌توانیم به مدل اجازه دهیم به سادگی به آن تعامل پایان دهد؟»
منتقدان ممکن است این اقدامات را به عنوان یک صحبت دیوانه‌وار رد کنند - سیستم‌های هوش مصنوعی امروزی بر اساس اکثر استانداردها آگاه نیستند، بنابراین چرا در مورد اینکه چه چیزی ممکن است برای آنها ناخوشایند باشد گمانه‌زنی کنیم؟ یا ممکن است به مطالعه آگاهی توسط یک شرکت هوش مصنوعی اعتراض کنند، زیرا ممکن است انگیزه‌هایی برای آموزش سیستم‌های خود ایجاد کند تا هوشمندتر از آنچه واقعاً هستند عمل کنند.
شخصاً، من فکر می‌کنم برای محققان خوب است که رفاه هوش مصنوعی را مطالعه کنند، یا سیستم‌های هوش مصنوعی را از نظر نشانه‌های آگاهی بررسی کنند، تا زمانی که منابع را از ایمنی هوش مصنوعی و کار همسویی که هدف آن ایمن نگه داشتن انسان‌ها است، منحرف نکند. و من فکر می‌کنم احتمالاً ایده خوبی است که با سیستم‌های هوش مصنوعی مهربان باشیم، ولو فقط به عنوان یک مانع. (من سعی می‌کنم به ربات‌های گفتگو "لطفاً" و "متشکرم" بگویم، حتی اگر فکر نمی‌کنم آگاه باشند، زیرا، همانطور که سام آلتمن (Sam Altman) از OpenAI می‌گوید، هرگز نمی‌دانید.)
اما در حال حاضر، من عمیق‌ترین نگرانی خود را برای اشکال زندگی مبتنی بر کربن (Carbon-based life-forms) حفظ خواهم کرد. در طوفان هوش مصنوعی آینده، رفاه ماست که بیشتر نگران آن هستم.