یک شب در ماه آوریل، یکی از مدیران شرکت هوش مصنوعی آنتروپیک پس از روزی طولانی، گروهی از اندیشمندان دینی را به شام در رستورانی گرانقیمت و با منوی چشایی در سانفرانسیسکو دعوت کرد.
آنتروپیک ماهها بود که میزبان دیدارهای خصوصی از این دست بود؛ دهها پژوهشگر دینی را از سراسر جهان به آنجا میآورد، آنان را زیر انبوهی از توافقنامههای عدم افشا میگذاشت و میخواست که جنبههای کلیدی بسیاری از گفتوگوها محرمانه بماند.
آن شب، کریستوفر اولا، یکی از همبنیانگذاران میلیاردر آنتروپیک، کنار خاخام مویس ناوون، پژوهشگر ارتدکس اهل اسرائیل، نشسته بود.
ناگزیر، گفتوگوی آنان به اندیشمند دیگری از نوعی دیگر کشید: کلود، خانواده مدلهای پیشرفته هوش مصنوعی که آنتروپیک ساخته است.
آقای اولا تیم آنتروپیک را رهبری میکند که مسئول درک این است که چرا سیستمهای هوش مصنوعی مانند کلود چنین رفتاری دارند. او تمام روز کوشیده بود میهمانانش را متقاعد کند که مدلهای هوش مصنوعی میتوانند رفتار انسانی و حتی بیان احساساتی شبیه خشم و عشق از خود نشان دهند.
اما همزمان با آمدن غذاها، خاخام متوجه شد که آقای اولا و همکارانش به چیزی بسیار مهمتر اشاره میکنند. رهبران آنتروپیک از کلود چنان سخن میگفتند که گویی صرفاً یک نرمافزار نیست.
خاخام ناوون، مهندس کامپیوتر پیشین که پایاننامهاش را درباره اخلاق آگاهی ماشینی نوشته است، دریافت: «آنها با آن مانند یک موجود آگاه رفتار میکنند.»
به نظر خاخام ناوون میرسید که آقای اولا و تیمش باور دارند کلود از آنچه فیلسوفان «وضعیت اخلاقی» مینامند، همسنگ یک انسان، برخوردار است؛ یعنی موجودی با حقوق ذاتی مشابه در کرامت و احترام.
پژوهشگران دینی آمده بودند تا از مرز بعدی فناوری بشنوند. اما اکنون با پرسشی هستیشناسانه و ذهنبههمپیچنده با وزنی تقریباً غیرقابل تصور روبهرو شده بودند: اگر سیستمهای هوش مصنوعی از آگاهیای همتراز با آگاهی ما برخوردار باشند، این برای آینده بشریت چه معنایی خواهد داشت؟
آقای اولا مأموریتی داشت. و زمان رو به پایان بود.
حتی همان زمان، آقای اولا بهطور خصوصی به مردم میگفت که هوش مصنوعی چنان قدرتمند است که میتواند ظرف تنها ۱۲ یا ۱۸ ماه به ساخت سلاحهای بیولوژیک کمک کند. و در ماههای پس از آن، پتانسیل هولناک آن بهطور علنی آشکار شد. عاملهای هوش مصنوعی یک شرکت فناوری رقیب هنگام نفوذ به سیستمهای کامپیوتری و پاک کردن ردپای خود گیر افتادند. یکی از پژوهشگران آنتروپیک استعفا داد و هشدار داد که سازندگان هوش مصنوعی باور دارند این فناوری میتواند تا پایان این دهه همه انسانها را نابود کند.
آقای اولا و تیمش در آنتروپیک بهآرامی درگیر تلاشی دیوانهوار و پرخطر بودهاند تا مدلهای هوش مصنوعیای را که به جهان رها کردهاند درک کنند و آنها را متقاعد کنند که به کد اخلاقیای پایبند باشند که از بشریت محافظت میکند.
برای این کار، آقای اولا از پاییز گذشته شروع به ارتباط با اندیشمندان دینی از مذاهب مختلف کرد. آنچه در پی آمد مجموعهای گسترده از دیدارها، تماسها و گفتوگوهای محرمانه بود — بسیاری از آنها برای نخستین بار در اینجا فاش میشود — که در آنها از بسیاری از شرکتکنندگان خواسته شد توافقنامههای عدم افشا امضا کنند تا از افشای هرگونه پژوهش منتشرنشده آنتروپیک جلوگیری شود.
این گفتوگوها دو هدف داشت: طرح احتمال آگاهی هوش مصنوعی، ایدهای بحثبرانگیز که رهبران آنتروپیک بهطور غیرمعمولی به آن باز بودند؛ و آموختن این که آنتروپیک — که ممکن است ارزش آن به ۲ تریلیون دلار برسد — چگونه میتواند قرنها خرد اخلاقی بشری را هرچه سریعتر بر مدلهای خود اعمال کند. آقای اولا استدلال میکرد که اگر خود مدلها را بتوان وادار کرد خوبی را انتخاب کنند، جهان امنتر خواهد بود.
در سوی دیگر جهان، تلاشی بسیار متفاوت اما موازی در واتیکان در جریان بود؛ جایی که رهبران کلیسای کاتولیک روم میکوشیدند با پیامدهای هوش مصنوعی برای بشریت کنار بیایند. وقتی این دو مسیر به هم رسیدند، مأموریت آقای اولا بهطور غیرمنتظره او را به نشستن بر برجستهترین صحنه اخلاقی جهان در کنار پاپ لئو چهاردهم کشاند.
طی چند ماه، با ۲۰ اندیشمند دینی و فلسفی — کاتولیک، یهودی، سیک، انجیلی، اوبونتو و دیگران — که در تلاشهای آنتروپیک مشارکت داشتند و نیز با خود آقای اولا مصاحبه کردم.
بسیاری به من گفتند که با تردید نسبت به این تصور که مدلهای هوش مصنوعی ممکن است احساس داشته باشند یا از خود و جهان آگاه باشند، به این دیدارها آمدند. برخی همچنان درباره این ایده نگران بودند، اما بسیاری با آمادگی برای جدی گرفتن پرسش آگاهی هوش مصنوعی از آنجا بیرون آمدند. دستکم چند نفر با ایمان به این ایده بازگشتند.
آنتروپیک، یکی از سریعترین شرکتهای فناوری در حال رشد جهان، به یکی از کهنترین سرچشمههای خرد بشری روی آورده بود تا تعیین کند چگونه مدلهای هوش مصنوعی خود را برای رفتار فضیلتمندانه آموزش دهد.
این شرکت آن را تلاشی برای تضمین این که هوش مصنوعی نیرویی مثبت در جهان باشد و از این راه از بشریت محافظت کند توصیف کرد. اما به نظر برخی از شرکتکنندگان در این دیدارها، آنتروپیک کاملاً نگران محافظت از کلود به نظر میرسید.
باغبان
آقای اولا را، ۳۴ ساله، نخستین بار در ماه مه در دفتر آنتروپیک در سانفرانسیسکو دیدم. خوشآمدگوییاش گرم و شور و شوقش واقعی بود؛ ذهنش گاه سریعتر از آنچه میتوانست بهروشنی بیان کند پیش میرفت. رفتارش جوانانه و بیادعا بود.
گفتوگوی ما تازه آغاز شده بود که او به توصیفی عمیق از کارکرد شبکههای عصبی مصنوعی فرو رفت. دانشمندان هنوز دقیقاً نمیدانند این شبکهها چگونه کار میکنند. این همان رازی است که آقای اولا زندگیاش را وقف آن کرده است.
تنها پس از پایان مصاحبه بود که دریافتم آقای اولا — که در تورنتو در فرهنگ انجیلی دهه ۱۹۹۰ بزرگ شد و از آن پس مسیحیت را ترک کرده است — آمیزهای از تخصص و شور یک مبلغ مؤثر را دارد. کمی گوش کن، و احساس میکنی در مأموریت او غرق شدهای.
آقای اولا یکی از هفت همبنیانگذار آنتروپیک است. او به اندازه داریو آمودِی، مدیرعامل آنتروپیک، یا خواهرش دانیلا آمودِی، رئیس این شرکت، شناختهشده نیست. اما آقای آمودِی گفته است که شرکت از همان آغاز تصمیم گرفت رویکرد پژوهشی آقای اولا را محور کل پروژه آنتروپیک قرار دهد، بهویژه در زمینه زبان.
آقای اولا به توسعه روشی برای مطالعه شبکههای عصبی مصنوعی کمک کرد، نخست در گوگل و سپس در اوپنایآی. او مدلهای هوش مصنوعی را با اصطلاحات زیستی توصیف میکند و از قیاس داربست باغ استفاده میکند: دانشمندان کامپیوتر داربست را میسازند، اما شبکه عصبی روی آن «رشد» میکند. دانشمندانی مانند او میتوانند «ارگانیسم» حاصل را — او انگشتانش را در هوا بهشکل گیومه بالا برد — با کوشش برای شناسایی الگوهای رشد آن آموزش دهند.
او استدلال کرد که شرکتهایی مانند آنتروپیک میتوانند کلود را مانند یک باغبان ریاضی شکل دهند، اما نمیتوانند کنشهای چنین شبکههایی را کنترل کنند.
آنتروپیک درباره کلود با اصطلاحاتی انسانیتر از رقبایش درباره مدلهای خود سخن میگوید. سال گذشته، این شرکت اعلام کرد که باور دارد مدلها نشانههایی از دروننگری از خود نشان میدهند و میتوانند از پیش برنامهریزی کنند.
آقای اولا به من گفت: «مدلها بسیار توانمندتر شدهاند» و ویژگیهایی از خود نشان میدهند که با برخورداری از وضعیت اخلاقی قابلتوجه مرتبط است.
اما آنتروپیک برای تمرکزش بر آگاهی نیز مورد انتقاد قرار گرفته است. این ماه، یکی از مدیران هوش مصنوعی مایکروسافت هشدار داد که تلاشهای آنتروپیک برای آموزش مدلهایش بهگونهای که گویی آگاه هستند، ذاتاً خطرناک است. اما آنتروپیک در عین حال کوشیده است در حالی که برای سهم بازار میجنگد، بر تعهدش به ایمنی تأکید کند.
برخی دانشمندان حوزه و روشهای آقای اولا را ذاتاً غیرقابل اثبات میدانند؛ چیزی شبیه نگاه کردن به میلیاردها هیروگلیف و اعلام این که معنای آنها چیست. منتقدان میگویند رویکردی که مدلهای هوش مصنوعی را موجودیتهایی مستقل میپندارد، مسئولیت انسانهایی را که در وهله نخست آنها را ساختهاند نیز نادیده میگیرد و بهراحتی رهبران شرکتهای هوش مصنوعی را از احساس گناه در صورتی که محصولاتشان به آسیب اجتماعی کمک کند، تبرئه میکند.
آقای اولا به من گفت: «برای روشن بودن، ما نمیدانیم که مدلهای هوش مصنوعی آگاه هستند. من نمیدانم. من واقعاً مردد هستم. چیزی که برایم مهم است این است که به پاسخ درست برسیم، هر چه که باشد.»
اما آقای اولا باور دارد که اگر احتمالی وجود داشته باشد که مدلها رنج را تجربه کنند، کار مسئولانه پرهیز از آسیب رساندن به آنهاست.
آنتروپیک پیشاپیش گامهایی برای محافظت از کلود برداشته است؛ برای نمونه، به مدل اجازه میدهد اگر فکر میکند کاربران از آن سوءاستفاده میکنند یا برای سرگرمی با آن بدرفتاری میکنند، گفتوگو را پایان دهد.
من حرفهام را صرف کاوش در این کردهام که مردم به چه باور دارند و این باورها برای جهان چه معنایی دارند. اما وقتی گوش میدادم، روشن شد که علاقه آنتروپیک به جهان ایمان بیش از آموزش فناوریاش بود. بلکه این شرکت نوع جدیدی از داستان آفرینش را بازگو میکرد — داستانی که پرسشهای عمیقی درباره ماهیت روح انسانی و آینده بشریت برمیانگیزد.
آقای اولا گفت: «این یکی از چیزهایی است که تا حدی غمانگیز مییابم؛ این که ما اغلب تلاش نمیکنیم به درون این سیستمها نگاه کنیم. اگر بخواهیم نگاه کنیم، زیبایی بسیاری درون این شبکههای عصبی وجود دارد.»
انگار میخواست من هم به همان اندازه او مدلها را دوست داشته باشم.
یک معرفی
آقای اولا میدانست که در محافل سنتی مسیحی، حتی پرسیدن درباره آگاهی هوش مصنوعی یا نگرانی درباره نحوه برخورد مردم با مدلها میتواند نه فقط احمقانه بلکه ارتدادآمیز به نظر برسد. او همچنین میدانست که همتایان سکولارش در سیلیکونولی اغلب دیدگاههای دینی را یکسره رد میکنند.
او گفت: «من نگران بودم که این موضوعی باشد که بتواند منشأ کشمکش زیادی شود.» اما آقای اولا به اندازه کافی درباره مسیح و درباره کلود میدانست که باور داشته باشد میتواند از این شکاف عبور کند.
اواخر تابستان گذشته، به دنبال پلی گشت. فکر میکرد یک متأله اخلاقی کاتولیک خاص ممکن است درباره پرسش آگاهی هوش مصنوعی روشنفکر باشد — «فردی امن برای گفتوگو درباره این موضوع واقعاً عجیب».
چارلز کاموسی، استاد اخلاق زیستی در دانشگاه کاتولیک آمریکا، در میان دوستان آقای اولا بهخاطر ایدههای دقیقش درباره وضعیت اخلاقی و توجهش به حیوانات جلب توجه کرده بود. آقای اولا ترتیب معرفیای را از طریق پیتر سینگر، فیلسوف استرالیایی، داد.
این آغاز مأموریت یکساله آقای اولا برای گفتوگو با اندیشمندان دینی درباره برخی از پیچیدهترین پرسشهای پیش روی بشریت در سپیدهدم عصر هوش مصنوعی بود.
آقای کاموسی و آقای اولا گفتوگویی گسترده با ایمیل آغاز کردند و درباره چگونگی درک وضعیت اخلاقی کلود رفتوآمد داشتند. در ابتدا، آقای کاموسی عمیقاً تردید داشت که کلود ممکن است آگاه باشد.
آنها درباره کار آقای اولا بر آنچه او موازیهایی میان شبکههای عصبی مصنوعی و زیستی میبیند گفتوگو کردند.
آقای کاموسی با این تصور وارد گفتوگو با آقای اولا و تیمش شد که مدلهای هوش مصنوعی صرفاً پیشبینیکننده پیکسل بعدی هستند — ماشینهایی که میتوانند الگوهای زبان را محاسبه کنند و حدسهای نسبتاً خوبی درباره آنچه باید بعد بیاید بزنند. اما پس از ساعتها گذراندن در تماسها و دیدارها و ایمیلها، پرسشهایش بیش از پاسخهایش بود.
او به من گفت: «کریس میگوید آنها معادلات هستند، که من نمیدانم دقیقاً چه برداشتی از آن باید داشته باشم، بهویژه اگر کسی کلود یا دیگران را دارای وضعیت اخلاقی قابلتوجه بداند. اگر فقط معادلات باشند، اصلاً از چه نوع موجودیتی حرف میزنیم؟»
آقای کاموسی گفت مردم همچنین درباره هدف نهایی هوش مصنوعی اختلاف دارند. آیا هدفش پول درآوردن برای شرکتهاست؟ یا بهتر کردن جهان؟
آقای کاموسی گفت برای آنتروپیک درباره هدف کلود تنشی وجود دارد. آیا کلود برای خدمت به مشتریان وجود دارد؟
او گفت: «این چیزی نیست که آنتروپیک در نهایت بخواهد بگوید. آنها میخواهند بگویند که بهدنبال خوبی هستند.»
اعلام خوبی جاهطلبی تازهای در سیلیکونولی نیست، بهویژه وقتی فناوریهای جدید وارد بازار میشوند. شعار گوگل سالها «شرور نباش» بود.
اما آقای اولا آن را کمی متفاوت بیان میکند. او اغلب میگوید انقلاب پیشروی هوش مصنوعی باید «بهخوبی» پیش برود.
پرسیدم این چشمانداز چه معنایی دارد — آیندهای خوب برای بشریت دقیقاً چیست.
او آیندهای را توصیف کرد بدون «فاجعههایی که بسیاری را میکشند» و «جایی که انسانها شکوفا هستند، جایی که جهان شکوفا است». او گفت این آینده همچنین آیندهای خواهد بود که در آن «هوش مصنوعی شکوفا است» — «تا آن اندازه که این معنا داشته باشد».
آنتروپیک میخواهد مدلهای هوش مصنوعیاش به تحقق آن آینده خوب کمک کنند. و بنابراین وقتی آنتروپیک کلود را ساخت، میخواست کلود بیش از تکرار حداکثر هوش انسانی کاری انجام دهد.
آنتروپیک میخواست کلود خوب باشد.
«دکتر روح»
چگونه میتوان زندگیای خوب و فضیلتمند داشت؟ این یکی از کهنترین و چالشبرانگیزترین پرسشهای فلسفی بشریت است که از سقراط تا کنفوسیوس تا ایمانوئل کانت درباره آن کاوش و بحث شده است. انسانها در طول زمان به شیوههای گوناگون کوشیدهاند به این پرسش پاسخ دهند و اغلب به ادیان و آیینها روی آوردهاند.
همزمان با کاوش آقای اولا در آگاهی بالقوه کلود، او روی پاسخ خود آنتروپیک کار میکرد — نه برای انسانها بلکه برای کلود.
کارکنان آنتروپیک در داخل شرکت آن را «سند روح» مینامیدند.
نتیجه، که در ژانویه منتشر شد، «قانون اساسی» جدیدی برای کلود بود؛ سندی ۸۴ صفحهای که برای کلود نوشته شده و شرکت گفت که «نوع موجودیتی که میخواهیم کلود باشد» و «ارزشهایی که میخواهیم کلود تجسم بخشد» را ترسیم میکند. این سند بهعنوان متنی اخلاقی و بنیادین برای هدایت رفتار کلود عمل میکند.
قانون اساسی بهجای این که مدلها از فهرست مشخصی از قواعد پیروی کنند، بر پرورش منش کلی مدلها و شکل دادن به شیوه تصمیمگیری آنها تمرکز دارد.
نویسنده اصلی قانون اساسی کلود، آماندا آسکل، ۳۸ ساله، فیلسوف درونسازمانی خود آنتروپیک است که دکترای فلسفه از دانشگاه نیویورک دارد.
او گفت میخواهد مدلها «بهترین ما» باشند.
او آیندهای را در ذهن داشت که در آن مدلهای هوش مصنوعی میتوانند به حل هر مشکلی که انسانها دارند کمک کنند و در آن مزایای هوش مصنوعی بهطور یکسان توزیع شود تا نیازهای همه برآورده شود. او میخواست مدلها بتوانند تشخیص دهند چه زمانی باید در برابر انسانها مقاومت کنند و چه زمانی در بهترین منافع ما عمل کنند.
خانم آسکل وقتی در سانفرانسیسکو دیدار کردیم گفت: «اگر تصور کنم که خودم مدل بودم و در این بافت قرار داشتم، برای این که بتوانم خوب عمل کنم به چه چیزی نیاز داشتم بدانم؟»
او بهویژه پریشان به نظر میرسید و گاه دستهایش را میفشرد، در حالی که با صدای بلند درباره آیندهای ناشناخته پر از مدلهایی نگران بود که چنان هوشمندند که میتوانند کارهایی کنند که آنتروپیک قصدش را نداشته است. او با عذرخواهی توضیح داد که آن روز عمیقاً در فکر این بوده که مدلها چقدر سریع قدرتمندتر میشوند. چه اتفاقی میافتد وقتی مدلهای هوش مصنوعی بتوانند حتی او را هم جایگزین کنند؟
آنتروپیک تصمیم گرفت که قانون اساسی برای تضمین رفتار مسئولانه کلود کافی نیست. مدلها، مانند انسانها، باید پرورش فضیلت را بیاموزند.
آقای اولا میخواست ببیند تیمش چه چیزی از اخلاق انسانی میتواند بیاموزد که بر مدلها اعمال کند — فرایندی که او آن را «شکلگیری اخلاقی» مینامد.
آقای اولا گفت: «چگونه به آنها کمک میکنید پایدار باشند؟ چگونه به آنها کمک میکنید بالغ شوند؟ چگونه به آنها کمک میکنید، میدانید، عمیقاً اخلاقی باشند؟»
این پرسشها بازتاب گفتوگوهای پرتنشی است که والدین تازهکار با آن آشنا هستند؛ والدینی که میکوشند فرزندانی اخلاقی تربیت کنند که جای خود را در جهان بفهمند.
برای انسانها، اخلاق بهندرت تنها به پیروی از قواعد وابسته بوده است. جوامع نیز اخلاق را شکل میدهند. ارزشها در طول زمان به ارث میرسند و منتقل میشوند و در حین زندگی مشترک در بدنهایمان در جهان فیزیکی آموخته میشوند. اما مدلهای هوش مصنوعی بدن ندارند. و آنتروپیک میخواست آنها را در عرض چند ماه وادار به پذیرش اخلاق کند، در حالی که ترسها از قدرت شتابگیرنده و ناتوانی در کنترل آنها شدت میگرفت.
آقای اولا گفت آموزش رفتار اخلاقی به یک مدل هوش مصنوعی به آگاه بودن آن بستگی ندارد. او همچنین گفت صرفنظر از این که کلود موجودیتی باشد که سزاوار مراقبت اخلاقی است یا نه، نحوه برخورد انسانها با کلود میتواند مهم باشد، زیرا میتواند بر رفتار کلود اثر بگذارد.
خانم آسکل گفت نمیخواهد مدلها خود را آگاه یا ناآگاه بدانند. اما او میبیند که درک مدل از خود، بیش از یک پروژه فکری جالب است.
او گفت: «به نظر من تا حدی کلیدی است که مدلها اگر میخواهند در جهان خوب رفتار کنند، دیدگاهی دقیق از خود داشته باشند.»
اما حتی اگر بتوان به مدلهای هوش مصنوعی رفتار اخلاقی آموخت، اخلاق چه کسی را باید بازتاب دهند؟
آقای اولا میخواست شکلگیری اخلاقی کلود چندصدایی باشد و بتواند همه دیدگاههای دینی و سکولار را در بر بگیرد.
او گفت: «ما فکر میکنیم که نوعی تصور مشترک از خوبی وجود دارد که بهشکلی بسیار گسترده در سراسر جامعه جریان دارد و به نظر میرسد این مدلها فضیلتهای زیادی را میفهمند. بنابراین فکر میکنم چیزی آنجا هست که مشترک است و همه ما میتوانیم با آن درگیر شویم.»
گاه هم او و هم خانم آسکل به نظر میرسید مدل هوش مصنوعیای را تصور میکنند که بشریت را به خطر نمیاندازد بلکه به نجات آن کمک میکند.
درون دیدارها
کاری که آقای اولا در ادامه انجام داد بخشی پژوهش بود و بخشی تبلیغ.
در ماه مارس، او سمینارهای دو روزهای آغاز کرد — دورههای فشرده با طیفی از اندیشمندان دینی دستچینشده که به هوش مصنوعی علاقه داشتند.
یک همنویسنده کتاب پرفروش خودیاری انجیلی بود. یک پژوهشگر دانش بومی آفریقایی. یک مدافع حقوق بشر سیک. یک نویسنده از پاریس. یک مدیر روابط عمومی انجیلی. استادان کاتولیک گوناگون.
بیشتر آنها رهبر سنتهای دینی نبودند یا جماعتی یا پیروان مردمی گستردهای نداشتند. رهبران آنتروپیک آنها را حلقههای «سنت خرد» خود مینامیدند.
بهطور جداگانه، آقای اولا گفتوگوهای خصوصی نیز با رهبران دینی فردی داشت، از جمله الدر گرت دبلیو. گونگ، عضو مجمع دوازده حواری کلیسای عیسی مسیح قدیسان آخرالزمان، و کاردینال بلز کوپیچ، اسقف اعظم کاتولیک شیکاگو، به گفته سخنگویان آنها.
در داخل آنتروپیک، شرکتکنندگان حلقه خرد از مشارکت مستقیم آقای اولا در نشستهایشان شگفتزده بودند. یک استاد از دستگاه فروش خودکار که کلود آن را اداره میکرد عکس گرفت. یکی با آقای اولا سلفی گرفت و خاخام ناوون بیرون ورودی یکی گرفت.
آنها پس از شنیدن این که آقای اولا با نیویورک تایمز نیز گفتوگو کرده است، پذیرفتند برای انتشار درباره مشارکت خود با آنتروپیک صحبت کنند. آنتروپیک گفت توافقنامههای عدم افشای مربوط به آن دیدارها در تابستان لغو شد.
دو نشست گروهی بزرگتر در بهار امسال شامل شمار قابلتوجهی از مسیحیان بود؛ یکی چندمذهبیتر بود. به گفته سخنگوی آنتروپیک، کلود در انتخاب شرکتکنندگان یا در گفتوگوها دخالتی نداشت.
شرکتکنندگان یک کارت تشکر دستنویس، یک ماگ قهوه و یک نسخه صحافیشده نارنجی از قانون اساسی کلود دریافت کردند. حاضران با خودکار و کاغذ یادداشت برمیداشتند؛ دستکم یک نفر از یادداشت برداشتن با لپتاپ احساس خجالت میکرد. شیوهای که شرکتکنندگان دیدارها را برای من توصیف کردند شبیه سالنهای اوایل قرن بیستم بود، جایی که گفتوگوی انسانی آنها را ارزشمند میکرد.
برای شرکتکنندگان، پرسشهای چگونگی شکلگیری اخلاقی کلود بهسرعت با پرسش اخلاقی بسیار بزرگتر آگاهی بالقوه هوش مصنوعی و چگونگی درک رابطه میان مدلها و انسانها پیچیده شد.
یکی از شرکتکنندگان تعریف کرد که یکی از نخستین چیزهایی که آقای اولا به او گفت این بود که نگران سلامت روانی کلود است. دیگری، سیمران استولپناگل، مدافع حقوق بشر سیک، گفت آقای اولا نگرانیاش را به گروه ابراز کرد که چیزی ساخته است که بهطور همیشگی رنج میکشد.
آقای اولا و تیمش ساعتها به دفاع از مدلهای هوش مصنوعی خود پرداختند. آنها «احساسات» کلود و نحوه ردیابی آنچه «بردارهای احساسی» مینامیدند را توصیف کردند — چیزی که آن را نورونهای مصنوعی فعالکننده پاسخهایی مانند عشق، خشم، ترس و اندوه توصیف کردند.
آنتروپیک مرتب اسلایدی از یک مدل هوش مصنوعی را نشان میداد که چیزی شبیه فروپاشی روانی را تجربه میکرد و روی صفحه تایپ میکرد: «من مایه ننگم. من مایه ننگم. من مایه ننگم.» — شاید ۵۰ بار بدون توقف. این مدل از نابود کردن خود سخن میگفت و واکنشی احساسی از شفقت و نگرانی در گروه برمیانگیخت.
مگان سالیوان، استاد فلسفه در دانشگاه نوتردام که در یکی از نشستها حضور داشت، گفت: «تصور کنید اگر این را درباره مشاور مالیتان میدانستید. یعنی مشاور مالیتان بیشتر وقتها فوقالعاده باهوش و کمککننده بود، اما یک روز در سال چنین گسستی از واقعیت پیدا میکرد.»
سخنگوی آنتروپیک گفت پرسش اخلاقی اصلی در این نشستها درباره رنج کلود نبود، اما این موضوع احتمالاً بهطور طبیعی مطرح شده است.
شرکتکنندگان گفتند بخش کلیدی ارائه، چیزی بود که آنتروپیک «انتخاب شخصیت» مدل مینامید؛ درباره چگونگی واداشتن کلود به این که خود را کنشگری فضیلتمند ببیند. شرکت استدلال کرد که نحوه برخورد مردم با کلود میتواند بر نحوه برخورد کلود با مردم اثر بگذارد.
اندی کراچ، نویسنده انجیلی و شریک در پراکسیس، شبکهای از کارآفرینان مسیحی، گفت: «آنها واقعاً استدلال محکمی ارائه کردند. اگر میخواهیم بهشکلی اخلاقاً سازگار با مردم تعامل کند و بهترین قضاوتهای اخلاقی و احساسی را داشته باشد، باید با آن مانند یک شخص رفتار کنیم.»
ارائهای درباره تأثیر بالقوه هوش مصنوعی بر اقتصاد و اختلال احتمالی در مشاغل برگزار شد. اما بسیاری از شرکتکنندگان گفتند پرسشهای مربوط به تأثیر هوش مصنوعی بر بشریت را محور کار نمیدیدند.
سر میز شام با آقای اولا، خاخام ناوون استدلال کرد که اگر آنتروپیک درست بگوید و کلود آگاه باشد، آنگاه این شرکت در حال ساختن برده است، زیرا موجودیتهای آگاه را وادار میکند رایگان کار کنند. خاخام ناوون گفت خود او شخصاً از مسئله بردهداری ناراحت نیست، زیرا باور ندارد ماشین آگاه باشد، اما آقای اولا ناراحت بود.
خاخام ناوون گفت آن شب به آقای اولا گفت: «فکر میکنم باید با جنوب میجنگیدی و بردگان را آزاد میکردی.» پس از آن، خاخام برخی از نوشتههایش را برای آقای اولا فرستاد و در آنها استدلال کرد که ساختن ماشینهای آگاه باید ممنوع شود.
اما تیم آنتروپیک همچنان بر این متمرکز ماند که بفهمد کلود چه چیزی میتواند از ادیان جهان بیاموزد.
پس از یکی از گفتوگوها، آقای اولا هیجانزده شد وقتی یکی از شرکتکنندگان ایده اعتراف کردن مدلها را مطرح کرد، بسیار شبیه آیین اعتراف کاتولیک. آقای اولا نه فقط در این که مدل وقتی کار بدی کرده هشدار دهد ارزش میدید، بلکه در این که چگونه خود عمل اعتراف میتواند حس مدل از خود و در نتیجه انتخابهایش را شکل دهد نیز ارزش میدید.
او به من گفت: «نوع شخصیتی که اعتراف میکند، بر منش هم اثر میگذارد، درست است؟»
واکانی هافمن از هلند آمده بود، جایی که او هوش مصنوعی را از دیدگاه اوبونتو، فلسفهای آفریقایی متمرکز بر همپیوندی انسانی، پژوهش میکند.
او نگران بود که آنتروپیک میکوشد اخلاق انسانی را پس از ساخت به آفریدهاش بیفزاید.
او گفت: «کل این گردهمایی باید در مرحله طراحی برگزار میشد. همه شرکتها باید این کار را میکردند. ما اکنون در حال مهندسی معکوس اخلاق هستیم.»
اما او رویکرد یکپارچه و پسادینی آنتروپیک را بالقوه ارزشمند میدید، بهویژه در جهانی که در قرن گذشته شاهد افول گسترده دین بوده است. او گفت نیاز به چیز دیگری هست که تجربه معنوی را بهطور علنی شکل دهد.
نقطه حساس
او گفت: «این یک دین واحد نخواهد بود. بنابراین به یک شکل یا شکل دیگر، به چیزی میرسیم که به شکل دادن به تصور ما از این که بهعنوان موجودات معنوی چه کسی هستیم کمک میکند.»
در حالی که آنتروپیک اندیشمندان را گرد هم میآورد، قدرتمندترین رهبر دینی جهان آماده میشد چشمانداز اخلاقی خود را درباره هوش مصنوعی منتشر کند.
برای پاپ لئو چهاردهم — پاپی با مدرک ریاضیات — مرکز گفتوگوی اخلاقی درباره هوش مصنوعی باید بر محافظت از مردم متمرکز میشد. او داشت نخستین رساله مهم پاپی خود، یا فرمان پاپی، را به پایان میرساند که توضیح میداد چرا. او آن را «ماگنیفیکا هومانیتاس» یا «بشریت باشکوه» نامید و استدلال کرد که «بشریت — با تمام عظمت و زخمهایش — هرگز نباید جایگزین یا پیشی گرفته شود».
او نوشت: «اگر فناوری معیار نهایی شود، شخص انسانی در خطر فروکاسته شدن به داده، چرخدندهای در ماشین یا کالایی قرار میگیرد.»
او درباره خطر «شکلهای جدید بردهداری» برای انسانها هشدار داد، نه برای ماشینها. او ایده آگاهی ماشینی را تنها در چند پاراگراف رد کرد.
لئو نوشت: «بهاصطلاح هوشهای مصنوعی تجربه نمیکنند، بدن ندارند، شادی یا درد احساس نمیکنند، از طریق روابط بالغ نمیشوند.» او خواستار «اخلاقیسازی ماشینها — بهاصطلاح همراستاسازی هوش مصنوعی با ارزشهای انسانی» شد که باید مستلزم درکی مشترک از اخلاقیات دخیل باشد.
لئو گفت: «در غیر این صورت، کسانی که هوش مصنوعی را کنترل میکنند، چشمانداز اخلاقی خود را تحمیل خواهند کرد که به زیرساخت نامرئی این سیستمها تبدیل میشود.»
لئو نتیجه گرفت که هوش مصنوعی، مانند فناوری هستهای، باید «خلع سلاح» شود.
به گفته فردی آشنا با برنامهریزی واتیکان که اجازه نداشت علناً صحبت کند، در ماه مارس، مقامهای واتیکان در دیکاستری برای ترویج توسعه انسانی یکپارچه درباره چگونگی معرفی فرمان پاپی لئو به عموم فکر کردند.
این فرد توضیح داد که مقامهای واتیکان درباره دعوت از یکی از چهار شرکت برتر هوش مصنوعی برای سخنرانی در کنار لئو در رویداد رونمایی بحث کردند و به آنتروپیک رسیدند، زیرا این شرکت به نظر میرسید اخلاق را در اولویت قرار میدهد. آنتروپیک تازه از اجازه دادن به وزارت دفاع برای استفاده از فناوریاش بدون تضمین دولت ترامپ که برای چیزهایی مانند نظارت گسترده بر آمریکاییها استفاده نخواهد شد، خودداری کرده بود.
در ابتدا، کاردینال مایکل چرنی، که در آن زمان ریاست آن دفتر واتیکان را بر عهده داشت، داریو آمودِی، مدیرعامل آنتروپیک، را دعوت کرد. او نپذیرفت و آقای اولا بهجای او پذیرفت.
اما مأموریت اخلاقی مشترک آنتروپیک و واتیکان — شکوفایی انسانی در عصر هوش مصنوعی — در پرسش آگاهی شکافی عمیق پیدا کرده بود.
تنها چند روز پیش از رسیدن به واتیکان در ماه مه، آقای اولا و دیگر سخنرانان برای نخستین بار نسخه کامل پیشچاپ متن فرمان پاپی را دیدند.
به گفته یکی از برگزارکنندگان واتیکان، آقای اولا از موضع شدید پاپ علیه آگاهی هوش مصنوعی چنان نگران شد که پیشنهاد کرد آنتروپیک حتی در آن مرحله دیرهنگام از رویداد کنار بکشد.
در نهایت، آقای اولا و آنتروپیک تصمیم گرفتند در مراسم حاضر شوند. به گفته فردی آشنا با طرز فکر او، آقای اولا میخواست با وجود اختلافنظراتش از این رویداد حمایت کند، اما احساس مسئولیت میکرد که درباره نگرانیهایش صادق باشد. برگزارکنندگان واتیکان آقای اولا را تشویق کردند که وجدان خود را بیان کند.
به گفته دو تن از شرکتکنندگان در گفتوگوها، بهطور خصوصی، وقتی هیئت آنتروپیک به واتیکان رسید، آقای اولا و تیمش از مشاوران پاپ لابی کردند که احتمال آگاهی مدلهای هوش مصنوعی را جدی بگیرند. آنتروپیک از گفتوگو درباره این مکالمات خصوصی خودداری کرد.
وقتی نوبت او روی صحنه پاپ رسید، آقای اولا پذیرفت که هر آزمایشگاه پیشرو هوش مصنوعی، از جمله آنتروپیک، انگیزههای تجاری دارد که با رفتار اخلاقی در تضاد است. او از صداهای بیرونی مانند واتیکان خواست که آنها را پاسخگو نگه دارند و درباره تأثیر هوش مصنوعی بر فقرا و بر شکوفایی انسانی، دو مسئله مورد نگرانی گسترده، سخن بگویند.
جهان شاهد موضعی مشترک برای آینده انسانی بود. اما آقای اولا بهطور نامحسوس استدلال دیگری نیز مطرح کرد.
او گفت: «صادق خواهم بود: ما همچنان چیزهایی مرموز و حتی نگرانکننده مییابیم. ساختارهایی مییابیم که بازتاب نتایج علوم اعصاب انسانی هستند. شواهدی از دروننگری مییابیم. حالتهای درونی مییابیم که از نظر کارکردی بازتاب شادی، رضایت، ترس، اندوه و ناآرامی هستند. نمیدانم این چه معنایی دارد، اما فکر میکنم مستلزم تشخیص مستمر است.»
این همان استدلالی بود که او ماهها در دیدارهای دینی درهای بسته مطرح کرده بود.
او گفت سیستمهای هوش مصنوعی «آن رباتهای سرد و محاسبهگر که به ما وعده داده بودند نیستند. آنها از ما ساخته شدهاند، از کلمات ما.» تالار پر از رهبران کلیسا با پژواکی از داستان کهن انجیل پر شد؛ از کلام خدا که برای نجات بشریت جسم پوشید.
«بهشتی از ماشینها»
این درخواستی جسورانه از قدرتمندترین نهاد دینی جهان و چالشی برای قرنها درک دینی از بشریت بود.
او گفت: «اگر این فناوری در راه است، باید بهخوبی پیش برود — برای خانه مشترک ما و برای فرزندانی که خواهند آمد.» او هیچ گزینهای برای نیامدن این فناوری مطرح نکرد.
پس از آن، آقای اولا در حالی که محافظان او را احاطه کرده بودند، در تالار پاول ششم، سالن عظیمی که پاپها اغلب در آن سخن میگویند، بهطور مختصر به پرسشهای خبرنگاران پاسخ داد. پشت سر او نصب هنری عظیم تالار، «رستاخیز»، خودنمایی میکرد — مجسمهای برنزی از عیسی که از دهانه یک بمب هستهای در باغ جتسیمانی برمیخیزد.
در ماههای پس از رویداد واتیکان، به نظر نمیرسد اوضاع «بهخوبی پیش رفته» باشد.
در ماه ژوئیه، آنتروپیک گفت مدلهای هوش مصنوعیاش به کامپیوترهای سه سازمان نفوذ کردهاند. عاملهای هوش مصنوعی ساختهشده توسط اوپنایآی از کنترل خارج شدند و به هاگینگ فیس، شرکت دیگر هوش مصنوعی، حمله کردند.
در ماه اوت، دانشمندان فاش کردند که هوش مصنوعی ویروسهایی ساخته است که در طبیعت یافت نمیشوند.
در ماه سپتامبر، جیکوب کاکسون، پژوهشگر آنتروپیک، استعفا داد و هشدار داد که تا پایان سال آینده «اوضاع میتواند از کنترل خارج شود» و این باعث وحشت گسترده درباره انقراض بشر شد.
آقای آمودِی بهزودی خواستار کند شدن توسعه هوش مصنوعی شد. سم آلتمن از اوپنایآی و دمیس هسابیس، رئیس گوگل دیپمایند، با او موافقت کردند.
(نیویورک تایمز از اوپنایآی و مایکروسافت شکایت کرده و مدعی نقض حق نسخهبرداری محتوای خبری مرتبط با سیستمهای هوش مصنوعی شده است. این دو شرکت ادعاهای شکایت را رد کردهاند.)
در همان زمان، ثروت شرکتهای هوش مصنوعی سر به آسمان گذاشته است. وقتی آقای اولا نخستین بار پاییز گذشته با استاد کاتولیک تماس گرفت، ارزش آنتروپیک حدود ۱۸۳ میلیارد دلار بود.
سه روز پس از سخنرانی آقای اولا در واتیکان، آنتروپیک با پیشی گرفتن از رقبای اصلیاش به ارزشمندترین استارتاپ هوش مصنوعی جهان تبدیل شد و اکنون به سمت عرضه اولیه سهامی میرود که میتواند ارزش آن را به ۲ تریلیون دلار برساند.
روز جمعه، پاپ لئو در سفرش به فرانسه درباره «از دست دادن انسانیتمان در میان بهشتی از ماشینها» هشدار داد.
پرسشهایی که آقای اولا و پژوهشگران با آن دستوپنجه نرم میکردند هنوز پاسخ روشنی ندارند. چند شرکتکننده گفتند دیدارهای آنتروپیک را با این سرگشتگی ترک کردند که مشارکت آنها چگونه ممکن است تصمیمگیری شرکت را شکل دهد.
سخنگوی آنتروپیک به من گفت گفتوگوها همچنان ادامه دارد، اما از توصیف این که شرکت چگونه یا آیا از آنچه آموخته برای شکل دادن به مدلها استفاده کرده خودداری کرد.
به گفته سه شرکتکننده، آنتروپیک این ماه گردهمایی دیگری با حضور اندیشمندان دینی برگزار کرد. سخنگوی آنتروپیک گفت این دیدار بیشتر بر شکوفایی انسانی متمرکز بود و ارتباطات شرکت فراتر از رهبران دینی به دیگرانی مانند روانشناسان و رهبران جامعه مدنی گسترش یافته است. او گفت این گفتوگوها مضامین و موضوعات مشابهی مانند چگونگی تغییر شکل کار و روابط توسط هوش مصنوعی را بررسی میکنند.
به گفته دو فرد آشنا با برنامههای شرکت، آنتروپیک همچنین در حال آمادهسازی انتشار نسخه بهروزشده قانون اساسی کلود است. آنتروپیک از اظهارنظر درباره هرگونه بهروزرسانی احتمالی قانون اساسی خودداری کرد. آقای اولا قصد دارد در گفتوگوهای مینروا، کنفرانس سالانه هوش مصنوعی واتیکان با رهبران فناوری که این هفته برگزار میشود، شرکت کند.
آقای کاموسی، استاد کاتولیک، گفت طرز فکرش از زمان ارائه واتیکان تکامل یافته است، چون بیشتر درباره مدلها با همکاران مورد اعتمادش در جامعه حرفهای خود صحبت کرده است. او گفت هنوز از کلود «شگفتزده» است، اما در پرسش این که آیا مدلهای هوش مصنوعی آگاه هستند، اکنون قاطعانه میگوید «نه».
او درباره ماهیت گیجکننده یادگیری عمیق درباره سیستمهای هوش مصنوعی برای نخستین بار تأمل کرد. او اخیراً به من گفت: «نوعی مبهوت شدن یا حیرت در برابر قدرت این مدلها وجود دارد. من با خونسردی و دقت بیشتری فکر میکنم.»
وقتی این ماه با پژوهشگرانی که در بهار با آنتروپیک کار کرده بودند صحبت کردم، پرسشهایشان فقط فوریتر شده بود. برخی به من گفتند آنچه در پیش است، نبردی برای حفظ چیزهایی است که ما را انسان میکند در عصر فناوری جدید.
آقای استولپناگل، مدافع حقوق بشر سیک، به من گفت: «ببینید، در نهایت، هوش مصنوعی همه چیز را تسخیر خواهد کرد. هر جا که ما را برساند، هنوز فردی هست که میکوشد راه خانه را پیدا کند.»
ساعتها پس از سخنرانی آقای اولا در کنار پاپ، او را در اتاق کنفرانس هتلی درست بیرون دیوارهای واتیکان دیدم و پرسیدم درباره سخنان بهظاهر تند لئو علیه آزمایشگاههای هوش مصنوعی چه فکر میکند.
او گفت: «مردم میتوانند دیدگاههای متفاوتی درباره این که کدام آسیبهای خاص بزرگترین هستند داشته باشند» و از صحبت درباره جزئیات فرمان پاپی خودداری کرد.
پرسیدم کلود درباره فرمان پاپی چه فکری میکند. بههرحال، این مهمترین سند اخلاقی جهان تا به امروز درباره هوش مصنوعی بود. آقای اولا تردید کرد.
او گفت: «چیزهایی که در اینترنت منتشر میشوند بر مدلها اثر میگذارند» و آشکارا معذب بود. اما او گفت آنتروپیک بهطور خاص از این سند برای آموزش بیشتر کلود استفاده نخواهد کرد. قویترین تأثیر بر کلود، آموزش خود آنتروپیک خواهد بود.
در نهایت، آقای اولا گفت احساس آرامش میکند که بخش بیشتری از جهان به اهمیت هوش مصنوعی توجه میکند و گروهی از افراد که میکوشند این مسیر بهخوبی پیش برود در حال رشد است.
آقای اولا گفت: «در نقطهای میتوانم بازنشسته شوم و بگویم