بهار گذشته، دانیل کوکوتایلو، محقق ایمنی هوش مصنوعی که در OpenAI کار می‌کرد، در اعتراض به سیاست‌های شرکت از کار خود استعفا داد. او متقاعد شده بود که شرکت برای آینده فناوری خود آماده نیست و می‌خواست هشدار دهد. پس از اینکه یکی از دوستان مشترک ما را به هم وصل کرد، تلفنی با هم صحبت کردیم. کوکوتایلو را مهربان، آگاه و مضطرب یافتم. او به من گفت که پیشرفت‌ها در «هم‌ترازی» (مجموعه‌ای از تکنیک‌ها برای اطمینان از اینکه هوش مصنوعی مطابق با دستورات و ارزش‌های انسانی عمل می‌کند) از پیشرفت‌ها در هوشمندی عقب مانده است. او گفت که محققان با سرعت به سمت ایجاد سیستم‌های قدرتمندی پیش می‌روند که نمی‌توانند آن‌ها را کنترل کنند.
کوکوتایلو، که از برنامه کارشناسی ارشد فلسفه به شغل هوش مصنوعی روی آورده بود، توضیح داد که چگونه خود را آموزش داده تا این حوزه را درک کند. در OpenAI، بخشی از کار او پیگیری پیشرفت‌های هوش مصنوعی بود تا بتواند جدول‌های زمانی را برای پیش‌بینی زمان عبور از آستانه‌های مختلف هوشمندی ایجاد کند. در یک مقطع، پس از پیشرفت غیرمنتظره فناوری، مجبور شد جدول‌های زمانی خود را دهه‌ها جلوتر ببرد. در سال ۲۰۲۱، او سناریویی درباره هوش مصنوعی با عنوان «۲۰۲۶ چگونه خواهد بود» نوشت. بسیاری از پیش‌بینی‌های او پیش از سال ذکر شده محقق شده بودند. او نتیجه گرفته بود که نقطه بی‌بازگشت، زمانی که هوش مصنوعی ممکن است در تقریباً تمام وظایف مهم بهتر از انسان‌ها شود و قدرت و اختیار زیادی به آن سپرده شود، می‌تواند در سال ۲۰۲۷ یا زودتر فرا رسد. او ترسیده به نظر می‌رسید.
تقریباً در همان زمانی که کوکوتایلو OpenAI را ترک کرد، دو دانشمند کامپیوتر در پرینستون، سایا کاپور و آرویند نارایانان، برای انتشار کتاب خود با عنوان «روغن مار هوش مصنوعی: هوش مصنوعی چه کارهایی می‌تواند انجام دهد، چه کارهایی نمی‌تواند، و چگونه تفاوت را تشخیص دهیم» آماده می‌شدند. در این کتاب، کاپور و نارایانان، که ادغام فناوری با جامعه را مطالعه می‌کنند، دیدگاه‌هایی را مطرح کردند که کاملاً مخالف دیدگاه‌های کوکوتایلو بود. آن‌ها استدلال کردند که بسیاری از جدول‌های زمانی آینده هوش مصنوعی بیش از حد خوش‌بینانه‌اند؛ ادعاها درباره سودمندی آن اغلب اغراق‌آمیز یا کاملاً جعلی هستند؛ و به دلیل پیچیدگی ذاتی جهان، حتی هوش مصنوعی قدرتمند نیز آن را تنها به آرامی تغییر خواهد داد. آن‌ها موارد بسیاری را ذکر کردند که سیستم‌های هوش مصنوعی برای قضاوت‌های مهمی (مانند تشخیص پزشکی یا استخدام) فراخوانده شده و اشتباهات مبتدیانه‌ای انجام داده بودند که نشان‌دهنده یک عدم ارتباط اساسی با واقعیت بود. آن‌ها تاکید کردند که جدیدترین سیستم‌ها نیز از همین نقص رنج می‌برند.
اخیراً، هر سه محقق دیدگاه‌های خود را تقویت کرده‌اند و گزارش‌هایی را منتشر کرده‌اند که تحلیل‌های آن‌ها را گسترش می‌دهد. پروژه آینده هوش مصنوعی غیرانتفاعی، که کوکوتایلو مدیر اجرایی آن است، «هوش مصنوعی ۲۰۲۷» را منتشر کرده است؛ سندی مملو از ارجاعات، که توسط کوکوتایلو و چهار محقق دیگر نوشته شده و سناریوی ترسناکی را بررسی می‌کند که در آن سیستم‌های «فرا‌هوشمند» هوش مصنوعی تا سال ۲۰۳۰ نژاد بشر را تحت سلطه خود درآورده یا منقرض می‌کنند. هدف این است که این سناریو به عنوان هشداری جدی درباره آنچه واقعاً ممکن است اتفاق بیفتد، در نظر گرفته شود. در همین حال، کاپور و نارایانان، در مقاله جدیدی با عنوان «هوش مصنوعی به عنوان فناوری عادی»، اصرار دارند که موانع عملی از هر نوع — از مقررات و استانداردهای حرفه‌ای گرفته تا دشواری ساده انجام کارهای فیزیکی در دنیای واقعی — استقرار هوش مصنوعی را کُند کرده و پتانسیل تحول‌آفرین آن را محدود خواهند کرد. آن‌ها ضمن پذیرش اینکه هوش مصنوعی ممکن است در نهایت یک فناوری انقلابی، در مقیاس برق یا اینترنت، باشد، تاکید می‌کنند که برای آینده قابل پیش‌بینی «عادی» باقی خواهد ماند؛ یعنی از طریق اقدامات ایمنی آشنا، مانند مکانیزم‌های ایمنی، کلیدهای توقف اضطراری و نظارت انسانی قابل کنترل است. آن‌ها استدلال می‌کنند: «هوش مصنوعی اغلب با سلاح‌های هسته‌ای مقایسه می‌شود.» اما «تشبیه درست، نیروی هسته‌ای است» که عمدتاً قابل مدیریت باقی مانده و حتی ممکن است به دلایل ایمنی کمتر از پتانسیل واقعی‌اش استفاده شده باشد.
کدام یک درست است: روال عادی یا پایان جهان؟ اف. اسکات فیتزجرالد به طور مشهوری ادعا کرد: «محک هوش درجه یک، توانایی نگه‌داشتن دو ایده متضاد در ذهن به طور همزمان و حفظ توانایی عملکرد است.» با خواندن این گزارش‌ها پشت سر هم، خود را در حال از دست دادن آن توانایی یافتم و با صحبت پیاپی با نویسندگان آن‌ها، در طول یک بعدازظهر، کاملاً آشفته شدم. «هوش مصنوعی ۲۰۲۷» و «هوش مصنوعی به عنوان فناوری عادی» هر دو قصد دارند یک واقعیت را توصیف کنند و توسط متخصصان بسیار آگاه نوشته شده‌اند، اما به نتیجه‌گیری‌های کاملاً متفاوتی می‌رسند. در بحث درباره آینده هوش مصنوعی با کاپور، نارایانان و کوکوتایلو، احساس می‌کردم در حال گفتگویی درباره معنویت با ریچارد داوکینز و پاپ هستم.
در تمثیل مردان کور و فیل، گروهی از افراد خوش‌نیت با شیئی ناآشنا دست و پنجه نرم می‌کنند و نمی‌توانند بر سر ماهیت آن به توافق برسند، زیرا هر یک معتقد است که قسمتی که با آن مواجه شده‌اند، کل شیء را تعریف می‌کند. این بخشی از مشکل هوش مصنوعی است — دیدن تمامیت یک چیز جدید دشوار است. اما این نیز حقیقت دارد، همانطور که کاپور و نارایانان می‌نویسند، «گفتمان ایمنی هوش مصنوعی امروزی با تفاوت‌های عمیق در جهان‌بینی‌ها مشخص می‌شود.» اگر بخواهم این تفاوت‌ها را خلاصه کنم، می‌گویم که به طور کلی، متفکران ساحل غربی و سیلیکون ولی جذب دیدگاه‌های تحول سریع می‌شوند، در حالی که دانشگاهیان ساحل شرقی از آن‌ها رویگردانند؛ محققان هوش مصنوعی به پیشرفت سریع تجربی باور دارند، در حالی که سایر دانشمندان کامپیوتر مشتاق دقت نظری هستند؛ و افراد در صنعت هوش مصنوعی می‌خواهند تاریخ‌ساز شوند، در حالی که افراد خارج از آن از هیاهوی تکنولوژی خسته شده‌اند. در همین حال، تفاوت‌های کم‌رنگ‌تری در مسائل سیاسی و انسانی — درباره آنچه مردم می‌خواهند، نحوه تکامل فناوری، نحوه تغییر جوامع، نحوه کارکرد ذهن، «تفکر» چیست، و غیره — وجود دارد که به سوق دادن افراد به یک اردوگاه یا دیگری کمک می‌کند.
مشکل اضافی صرفاً این است که بحث درباره هوش مصنوعی به طور غیرمعمولی جالب است. این جذابیت، به خودی خود، ممکن است یک تله باشد. هنگامی که «هوش مصنوعی ۲۰۲۷» منتشر شد، بسیاری از کارشناسان صنعت با پذیرش مقدمات اصلی آن، درباره جدول‌های زمانی آن بحث کردند (چرا «هوش مصنوعی ۲۰۴۵» نباشد؟). البته، اگر یک سیارک قاتل سیاره به سمت زمین در حرکت باشد، شما نمی‌خواهید مقامات ناسا درباره اینکه آیا برخورد قبل یا بعد از ناهار اتفاق می‌افتد، بحث کنند؛ شما می‌خواهید آن‌ها ماموریتی را برای تغییر مسیر آن آغاز کنند. در عین حال، اظهاراتی مانند آنچه در «هوش مصنوعی به عنوان فناوری عادی» دیده می‌شود — به عنوان مثال، اینکه ممکن است عاقلانه باشد که انسان‌ها را در طول وظایف مهم در حلقه نگه داریم، به جای اینکه کنترل کامل را به کامپیوترها بدهیم — به حدی نسبتاً بی‌اهمیت تلقی شده‌اند که مدت‌ها توسط تحلیلگرانی که به احتمال وقوع آخرالزمان علاقه‌مند بودند، بیان نشده‌اند.
هنگامی که یک فناوری به اندازه‌ای اهمیت پیدا می‌کند که مسیر جامعه را شکل دهد، گفتمان پیرامون آن باید تغییر کند. بحث‌ها در میان متخصصان باید جای خود را به اجماعی بدهند که بقیه ما بتوانیم بر اساس آن عمل کنیم. فقدان چنین اجماعی درباره هوش مصنوعی، شروع به تحمیل هزینه‌های واقعی کرده است. وقتی کارشناسان برای ارائه یک توصیه متحد گرد هم می‌آیند، نادیده گرفتن آن‌ها دشوار است؛ وقتی خود را به گروه‌های متخاصم تقسیم می‌کنند، برای تصمیم‌گیرندگان راحت‌تر می‌شود که هر دو طرف را نادیده بگیرند و هیچ کاری انجام ندهند. در حال حاضر، به نظر می‌رسد هیچ کاری انجام نشدن، برنامه است. شرکت‌های هوش مصنوعی به طور اساسی تعادل بین قابلیت و ایمنی محصولات خود را تغییر نمی‌دهند؛ در لایحه تعدیل بودجه‌ای که به تازگی در مجلس نمایندگان تصویب شد، بندی مقرراتی را برای دولت‌های ایالتی به مدت ده سال در مورد «مدل‌های هوش مصنوعی، سیستم‌های هوش مصنوعی یا سیستم‌های تصمیم‌گیری خودکار» ممنوع می‌کند. اگر «هوش مصنوعی ۲۰۲۷» درست باشد و آن لایحه به قانون تبدیل شود، آنگاه تا زمانی که اجازه تنظیم هوش مصنوعی را داشته باشیم، ممکن است هوش مصنوعی ما را تنظیم کند. ما باید اکنون، قبل از پایان بازی، گفتمان ایمنی را درک کنیم.
هوش مصنوعی یک موضوع فنی است، اما توصیف آینده آن شامل یک حقیقت ادبی است: داستان‌هایی که ما تعریف می‌کنیم شکل‌هایی دارند و این شکل‌ها بر محتوای آن‌ها تأثیر می‌گذارند. همیشه بده‌بستان‌هایی وجود دارد. اگر هدف شما محافظه‌کاری قابل اعتماد و منطقی باشد، خطر کم‌اهمیت جلوه دادن احتمالات بعید را دارید؛ اگر تخیل را به کار بگیرید، ممکن است به جای آنچه محتمل است، بر آنچه جالب است تمرکز کنید. پیش‌بینی‌ها می‌توانند توهمی از قابلیت پیش‌بینی را ایجاد کنند که در دنیایی آینه‌ای ناموجه است. در سال ۲۰۱۹، وقتی از ویلیام گیبسون، رمان‌نویس علمی تخیلی که به آینده‌بینی‌اش معروف است، پرتره‌ای تهیه کردم، او لحظه‌ای وحشت را توصیف کرد: او فکر می‌کرد که آینده نزدیک را درک کرده است، اما «سپس ترامپ را دیدم که برای اعلام نامزدی‌اش از آن پله برقی پایین می‌آمد. تمام ماژول‌های سناریوی من ‘بیپ-بیپ-بیپ’ کردند.» ما در مسیری غیرمنتظره پیش می‌رفتیم.
«هوش مصنوعی ۲۰۲۷» تخیلی، زنده و جزئیات‌محور است. کوکوتایلو اخیراً به من گفت: «این قطعاً یک پیش‌بینی است، اما در قالب یک سناریو است که نوع خاصی از پیش‌بینی است.» اگرچه تا حدی بر ارزیابی روندهای هوش مصنوعی استوار است، اما مانند یک داستان علمی تخیلی (با نمودارها) نوشته شده است؛ آن خود را بی‌پروا در جریان رویدادها رها می‌کند. غالباً، جزئیات خاص تخیلی آن، تغییرپذیری آن‌ها را نشان می‌دهد. آیا واقعاً لحظه‌ای فرا خواهد رسید، احتمالاً در ژوئن ۲۰۲۷، که مهندسان نرم‌افزاری که هوش مصنوعی خودبهبودبخش را اختراع کرده‌اند، «جلوی صفحه نمایش کامپیوتر خود بنشینند و عملکرد را ببینند که بالا، و بالا، و بالا می‌رود»؟ آیا دولت چین در پاسخ، یک «مرکز داده عظیم» در یک «منطقه توسعه متمرکز» در تایوان خواهد ساخت؟ این جزئیات خاص سناریو را قدرتمندتر می‌کنند، اما ممکن است اهمیت نداشته باشند؛ کوکوتایلو گفت، اصل مطلب این است که، «به احتمال زیاد، یک انفجار هوش و یک درگیری ژئوپلیتیک دیوانه‌وار بر سر اینکه چه کسی کنترل هوش‌های مصنوعی را به دست می‌گیرد، رخ خواهد داد.»
این جزئیات آن «انفجار هوش» است که باید دنبال کنیم. سناریوی «هوش مصنوعی ۲۰۲۷» بر شکلی از توسعه هوش مصنوعی متمرکز است که به عنوان «خودبهبودی بازگشتی» یا R.S.I. شناخته می‌شود، که در حال حاضر عمدتاً فرضی است. در داستان گزارش، R.S.I. زمانی آغاز می‌شود که برنامه‌های هوش مصنوعی خودشان قادر به انجام تحقیقات هوش مصنوعی می‌شوند (امروزه، آن‌ها فقط به محققان انسانی کمک می‌کنند)؛ این «عوامل» هوش مصنوعی به زودی یاد می‌گیرند که چگونه نوادگان خود را باهوش‌تر کنند، و آن نوادگان نیز همین کار را برای نوادگان خود انجام می‌دهند و یک حلقه بازخورد ایجاد می‌کنند. این فرآیند با شروع عمل هوش‌های مصنوعی مانند همکاران، تبادل پیام‌ها و واگذاری کارها به یکدیگر، که «شرکتی درون یک شرکت» را تشکیل می‌دهند و بارها سریع‌تر و مؤثرتر از شرکت هوش مصنوعی که در آن قرار گرفته‌اند، رشد می‌کند، تسریع می‌شود. در نهایت، هوش‌های مصنوعی آنقدر سریع نوادگان بهتری ایجاد می‌کنند که برنامه‌نویسان انسانی زمانی برای مطالعه آن‌ها و تصمیم‌گیری درباره اینکه آیا قابل کنترل هستند، ندارند.
به نظر می‌رسد هر رمان علمی تخیلی که تاکنون درباره هوش مصنوعی نوشته شده است، پیشنهاد می‌کند که پیاده‌سازی خودبهبودی بازگشتی ایده بدی است. شرکت‌های بزرگ هوش مصنوعی R.S.I. را پرخطر می‌دانند، اما نمی‌گویند که آن را دنبال نخواهند کرد؛ در عوض، آن‌ها قسم می‌خورند که اگر در آن مسیر حرکت کنند، اقدامات ایمنی خود را تقویت خواهند کرد. در عین حال، اگر کار کند، پتانسیل اقتصادی آن می‌تواند فوق‌العاده باشد. کوکوتایلو گفت: «پیگیری R.S.I. قطعاً انتخابی است که مردم در این شرکت‌ها مشتاق به انجام آن هستند. این همان برنامه است. OpenAI و Anthropic، برنامه آن‌ها این است که ابتدا شغل‌های خود را خودکار کنند.»
آیا این نوع R.S.I. می‌تواند کار کند؟ (هرگز انجام نشده است.) آیا به عوامل تکنولوژیکی دیگر — مانند «مقیاس‌پذیری»، توانایی هوش مصنوعی برای بهبود با اختصاص منابع محاسباتی بیشتر به آن — بستگی ندارد که در گذشته درست بوده، اما ممکن است در آینده ناکام بماند؟ (برخی ناظران فکر می‌کنند ممکن است از قبل در حال ناکامی باشد.) اگر R.S.I. جا بیفتد، آیا پیشرفت آن به سقفی می‌رسد یا تا ظهور «فرا‌هوشمندی مصنوعی» — سطحی از هوش که فراتر از توانایی‌های ذهن انسان است — ادامه خواهد یافت؟ کوکوتایلو گفت: «اگر محدودیت هوش دقیقاً کمی بالاتر از محدوده انسانی باشد، بسیار عجیب خواهد بود.»
احتمالات پیچیده‌تر می‌شوند. آیا نوآوری مبتنی بر فرا‌هوشمندی یک رقابت تسلیحاتی نظامی را الهام خواهد گرفت؟ آیا هوش‌های مصنوعی فرا‌هوشمند می‌توانند ما را در تعقیب اهداف نامفهوم خود دستکاری یا حذف کنند؟ (در «هوش مصنوعی ۲۰۲۷»، آن‌ها منابع زمین را در حین انجام تحقیقات علمی‌ای که ما به اندازه کافی باهوش نیستیم تا درک کنیم، مصرف می‌کنند.) یا، در یک توسعه شادتر، آیا ممکن است خودشان مشکل هم‌ترازی را برای ما حل کنند، و یا خودشان را رام کنند یا بسته به دیدگاه شما، به خدایان نیکوکار تبدیل شوند؟
هیچ کس واقعاً مطمئن نیست. این تا حدی به این دلیل است که هوش مصنوعی یک حوزه متغیر و چندوجهی است که نظرات در آن متفاوت است؛ تا حدی به این دلیل که بسیاری از جدیدترین تحقیقات هوش مصنوعی اختصاصی و منتشر نشده‌اند؛ و تا حدی به این دلیل که نمی‌توان پاسخ‌های قطعی برای پرسش‌های اساساً گمانه‌زنانه داشت — فقط احتمالات. «هوش مصنوعی ۲۰۲۷» با اطمینان و نیروی روایی‌ای پیش می‌رود که عدم قطعیت‌های ذاتی موضوع خود را پنهان می‌کند. میزان وابستگی سناریو به زنجیره‌ای از پیش‌بینی‌های تکنولوژیکی خوش‌بینانه، مسلماً یک نقص، شاید هم نقص بزرگی است. (یک دوست آگاه، دیدگاه‌های این گزارش را با «طرفداران افراطی هوش مصنوعی» مرتبط دانست.) اما، در واقع، جزئی‌نگری یکی از دلایلی است که سناریوها ارزشمند هستند. در هر موقعیت نامطمئنی، ما تمایل داریم احتمالات ناخوشایند را در نوری فرضی‌تر ببینیم. اما تا زمانی که آن را می‌خوانیم، یک سناریو ما را مجبور می‌کند که حداقل سعی کنیم به واقعیت آن باور داشته باشیم. کوکوتایلو به من گفت، «هوش مصنوعی ۲۰۲۷» «خیلی متفاوت» از آنچه «در مکالمات کافه‌ای در این شرکت‌ها» درباره آن صحبت می‌شود، نیست. آن‌ها درباره آن صحبت می‌کنند؛ اکنون ما آن را تصور می‌کنیم. آیا آن‌ها آن را تصور می‌کنند؟ آیا آن را به اندازه کافی جدی می‌گیرند که اگر با انتخاب مهمی در مورد R.S.I. مواجه شوند، یک انتخاب عاقلانه انجام دهند؟
کوکوتایلو می‌گوید که آن‌ها چنین نمی‌کنند. یک برداشت نادرست رایج درباره هوش مصنوعی این است که فناوری خطرناک یا غیرقابل کنترل ممکن است بدون دخالت انسان «ظاهر شود». (کسی در «ترمیناتور» می‌گوید، «می‌گویند باهوش شد»، درباره اسکای‌نت.) اما «هوش مصنوعی ۲۰۲۷» زنجیره‌ای از تصمیمات آشکارا بد را به تصویر می‌کشد، که با انتخاب محققان برای ساخت هوش مصنوعی خودبهبودبخش، قبل از اینکه به طور کامل نحوه نگاه کردن به درون آن و تفسیر افکارش را بفهمند، آغاز می‌شود. این سناریو ادعا می‌کند که، به دلایل رقابت و کنجکاوی، افراد فعال در حوزه هوش مصنوعی به طور فعال به دنبال انجام کاری خواهند بود که هر کسی که «WarGames» را دیده باشد، می‌توانست به آن‌ها بگوید که انجام ندهند. کوکوتایلو به من گفت: «اگر برای این شرکت‌ها کار کنید و با آن‌ها درباره کارهایی که می‌خواهند انجام دهند صحبت کنید، که من همین کار را کردم، به شما می‌گویند که آن را انجام خواهند داد. آن‌ها می‌دانند که تفسیرپذیری را حل نکرده‌اند — که نمی‌توانند اهداف داخلی را به دقت بررسی کنند، یا رفتار سیستم‌های هوش مصنوعی را در آینده به دقت پیش‌بینی کنند. اما با این حال پیش می‌روند.» «هوش مصنوعی ۲۰۲۷» بخشی سناریوی تکنولوژیکی و بخشی سناریوی انسانی است. این نشان می‌دهد که شرکت‌های هوش مصنوعی هستند که ناسازگارند.
بر خلاف «هوش مصنوعی ۲۰۲۷»، «هوش مصنوعی به عنوان فناوری عادی» دارای حس و حال ساحل شرقی است. این یک مقاله خشک و محافظه‌کارانه است و بخش عمده‌ای از اعتبار خود را از دانش گذشته می‌گیرد. نارایانان و کاپور بیش از حد نگران فرا‌هوشمندی یا انفجار هوش احتمالی نیستند. آن‌ها معتقدند که هوش مصنوعی با «محدودیت‌های سرعت» مواجه است که از پیشرفت بسیار سریع جلوگیری خواهد کرد و استدلال می‌کنند که حتی اگر فرا‌هوشمندی ممکن باشد، ده‌ها سال طول می‌کشد تا اختراع شود و زمان کافی برای تصویب قوانین، اجرای اقدامات ایمنی و غیره را به ما می‌دهد. تا حدی، محدودیت‌های سرعتی که آن‌ها تشخیص می‌دهند به طور خاص به هوش مصنوعی مربوط می‌شود — آن‌ها از هزینه بالای سخت‌افزار هوش مصنوعی، کاهش عرضه داده‌های آموزشی و مواردی از این قبیل ناشی می‌شوند. اما کاپور و نارایانان همچنین فکر می‌کنند که این محدودیت‌ها ذاتی فناوری به طور کلی هستند، که معمولاً جهان را کندتر از آنچه مردم پیش‌بینی می‌کنند تغییر می‌دهد.
کاپور و نارایانان استدلال می‌کنند که تمرکز قابل درک محققان هوش مصنوعی بر «هوشمندی» گمراه‌کننده بوده است. یک حقیقت تلخ این است که هوشمندی به تنهایی ارزش عملی محدودی دارد. در دنیای واقعی، آنچه اهمیت دارد قدرت است — «توانایی تغییر محیط خود». آن‌ها اشاره می‌کنند که در تاریخ نوآوری، بسیاری از فناوری‌ها دارای قابلیت‌های شگفت‌انگیزی بوده‌اند اما نتوانسته‌اند قدرت زیادی به مخترعان یا کاربران خود بدهند. برای مثال، اینکه برخی خودروها می‌توانند خودران باشند، باورنکردنی است. اما در ایالات متحده، خودروهای خودران به تعداد انگشت‌شماری از شهرها محدود شده‌اند و توسط تعداد کمی از شرکت‌ها به عنوان روبو-تاکسی اداره می‌شوند. این فناوری توانمند است، اما قدرتمند نیست. احتمالاً حمل و نقل را — روزی — متحول خواهد کرد.
محققان هوش مصنوعی اغلب نگران می‌شوند که هوش مصنوعی، به خودی خود، بیش از حد قدرتمند شود. اما کاپور و نارایانان روشی انسان‌محورتر از تفکر را ترجیح می‌دهند: هدف فناوری قدرتمند شدن نیست، بلکه توانمندسازی ماست. آن‌ها می‌نویسند: «انسان‌ها همیشه از فناوری برای افزایش توانایی خود در کنترل محیط استفاده کرده‌اند»، و حتی فناوری‌های فوق‌العاده توانا نیز ما را تنها به آرامی توانمند ساخته‌اند. اختراعات جدید زمان زیادی می‌برد تا در جامعه، از آزمایشگاه‌ها به بیرون «منتشر» شوند. «هوش مصنوعی ۲۰۲۷» احتمال «درمان برای اکثر بیماری‌ها» را در سال ۲۰۲۹ مطرح می‌کند. اما، طبق دیدگاه کاپور و نارایانان، حتی اگر کار فکری ایجاد این درمان‌ها از طریق هوش مصنوعی به سرعت تسریع شود، ما باز هم باید مدت زیادی صبر کنیم تا از آن‌ها بهره‌مند شویم. به همین ترتیب، اگر یک سیستم هوش مصنوعی اختراع یک دستگاه پزشکی نجات‌بخش را سرعت بخشد، آن دستگاه هنوز باید توسط سازمان غذا و دارو تایید شود. فرض کنید یک هوش مصنوعی فرا‌هوشمند مشکل همجوشی هسته‌ای را حل کند — این فناوری هنوز باید آزمایش شود، و مکانی برای یک نیروگاه پیشنهادی باید با همسایگان مایل پیدا شود. (جدیدترین نیروگاه هسته‌ای که در ایالات متحده، در وینزبورو، جورجیا ساخته شد، چهارده سال طول کشید تا ساخته شود و تقریباً بیست میلیارد دلار بیشتر از بودجه هزینه برد.) کاپور به من گفت: «مثال مورد علاقه من مدرنا است»، اشاره به شرکت داروسازی. پس از اینکه محققان چینی ژنوم سارس کوو ۲ (SARS-CoV-2)، ویروسی که باعث کووید ۱۹ (COVID-19) می‌شود را توالی‌یابی کردند، مدرنا «کمتر از یک هفته طول کشید تا واکسن را بسازد. اما سپس حدود یک سال طول کشید تا آن را عرضه کند.» شاید هوش مصنوعی بتواند واکسن‌ها را حتی سریع‌تر طراحی کند — اما آزمایشات بالینی، که به فرآیندهای بیولوژیکی انسانی وابسته است، صرفاً زمان می‌برد.
نارایانان به من گفت که این دیدگاه که افزایش هوشمندی به سرعت و مستقیماً به نتایج تکنولوژیکی منجر می‌شود، بازتابی از دست‌کم گرفتن عمومی «پیچیدگی‌ها و تخصص‌های خاص دامنه» در میان کدنویسان است. او گفت: «مهندسی نرم‌افزار، اگرچه در نام خود مهندسی دارد، اما سابقه جدایی از بقیه مهندسی را داراست.» این بدان معناست که محققان ایمنی هوش مصنوعی ممکن است سیستم‌هایی را که از قبل ما را ایمن نگه می‌دارند نیز دست‌کم بگیرند. کاپور و نارایانان به طور خاص بر شیوه‌های ایمنی صنعتی تمرکز می‌کنند که در طول دهه‌ها توسعه و اثبات شده‌اند. در یک کارخانه، مکانیزم‌های ایمنی و قطع‌کننده‌های مدار اطمینان می‌دهند که سیستم‌ها هنگام نقص، به رفتارهای بی‌ضرر بازمی‌گردند. (ماشین‌ها، برای مثال، ممکن است در صورت افزایش سطح مونوکسید کربن یا تشخیص حضور فردی در داخل خود، خاموش شوند.) افزونگی به مدیران امکان می‌دهد تا ببینند یک قطعه واحد نتیجه‌ای غیرمعمول تولید می‌کند. فرآیندهایی مانند «تأیید رسمی» — که در آن سیستم‌ها تحت قوانین دقیق طراحی شده برای ارتقای ایمنی قرار می‌گیرند — اغلب زمانی استفاده می‌شوند که انسان‌ها در کنار ماشین‌های پیچیده کار می‌کنند.
از این دیدگاه، جهان از قبل مکانی نسبتاً منظم است — و هوش مصنوعی باید به آرامی در شبکه قوانین آن ادغام شود. یک سوال که باید پرسید این است که آیا ما باور داریم که مسئولان هوش مصنوعی باید از قوانین پیروی کنند؟ کاپور و نارایانان به «یک هشدار مهم» در تحلیل خود اشاره می‌کنند: «ما صراحتاً هوش مصنوعی نظامی را مستثنی می‌کنیم... زیرا شامل قابلیت‌های طبقه‌بندی شده و دینامیک‌های منحصر به فردی است که به تحلیل عمیق‌تری نیاز دارند.» «هوش مصنوعی ۲۰۲۷»، در همین حال، تقریباً به طور کامل بر نظامی‌سازی هوش مصنوعی متمرکز است، که به سرعت پس از آشکار شدن پیامدهای دفاعی آن («اگر هوش مصنوعی بازدارندگی هسته‌ای را تضعیف کند چه؟») آشکار می‌شود. این دو گزارش، در کنار هم، نشان می‌دهند که باید به دقت کاربردهای نظامی هوش مصنوعی را زیر نظر داشته باشیم. «هوش مصنوعی به عنوان فناوری عادی»، به نوبه خود، توصیه‌های مشخصی را برای مسئولان در بسیاری از حوزه‌های جامعه ارائه می‌دهد. منتظر نمانید، منفعلانه، تا شرکت‌های هوش مصنوعی مدل‌های خود را «هم‌تراز» کنند. در عوض، شروع به نظارت بر استفاده از هوش مصنوعی در حوزه خود کنید. راه‌هایی برای پیگیری شواهد خطرات و شکست‌های آن بیابید. و قوانین را تقویت یا ایجاد کنید که با گسترش فناوری، افراد و نهادها را انعطاف‌پذیرتر کند.
«تفاوت‌های عمیق در جهان‌بینی‌ها»: این به نظر درست می‌آید. اما جهان‌بینی در نهایت چیست؟ جهان‌بینی‌ها اغلب واکنش‌گرایانه هستند. ما آن‌ها را در پاسخ به تحریکات شکل می‌دهیم. هوش مصنوعی به طور غیرمعمولی تحریک‌کننده بوده است. این فناوری بازتاب‌هایی را در مورد هدف فناوری، ماهیت پیشرفت و رابطه بین مخترعان و بقیه ما ایجاد کرده است. این یک آزمون رورشاخ بوده است. و همچنین در لحظه‌ای خاص، در دنیایی گفتمانی خاص، که نظرات قوی هستند، اعتراضات فوری‌اند، و تفاوت‌ها برجسته می‌شوند، فرا رسیده است. دینامیک زندگی فکری به پافشاری و سرسختی منجر می‌شود. ما نیز حلقه‌های بازخورد داریم.
آیا یک جهان‌بینی واحد وجود دارد که بتواند دیدگاه‌های «هوش مصنوعی ۲۰۲۷» و «هوش مصنوعی به عنوان فناوری عادی» را در بر گیرد؟ من گمان می‌کنم که می‌تواند وجود داشته باشد. تصور کنید وارد یک طبقه کارخانه می‌شوید. یک علامت می‌خواند: «اول ایمنی!» کارگران کلاه ایمنی و لباس‌های ایمنی با دید بالا به تن دارند. ماشین‌ها کارخانه را اداره نمی‌کنند؛ در عوض، کارگران ماشین‌ها را دستکاری می‌کنند، ماشین‌هایی که با در نظر گرفتن بهره‌وری و ایمنی کارگران طراحی شده‌اند. در این کارخانه شناختی، تفکر جدی به بهترین شیوه‌ها اختصاص یافته است. تاکید زیادی بر کنترل کیفیت می‌شود. یک تیم تعمیر و نگهداری با بودجه کافی، ماشین‌ها را بازرسی و در صورت لزوم برای برآورده کردن نیازهای کارخانه اصلاح می‌کند. در بخش تحقیق و توسعه، دانشمندان گاهی ارتقاءهای امیدوارکننده‌ای را اختراع می‌کنند. اما قبل از اینکه این ارتقاءها در خط تولید ادغام شوند، به طور کامل بررسی می‌شوند و با کارگران مشورت می‌شود. علاوه بر این، کارخانه یک مأموریت دارد. کارگران آن می‌دانند که چه چیزی را تلاش می‌کنند تولید کنند. آن‌ها صرفاً آنچه را که ماشین‌ها اتفاقاً می‌سازند، ارسال نمی‌کنند. آن‌ها ماشین‌ها را به سمت یک هدف به خوبی درک شده هدایت می‌کنند.
بسیاری از ما ممکن است به زودی خود را در طبقات کارخانه شناختی مشغول به کار ببینیم. هر کاری که انجام دهیم، می‌توانیم آن را در کنار ماشین‌ها یا با آن‌ها انجام دهیم. از آنجا که ماشین‌ها می‌توانند بخشی از تفکر ما را خودکار کنند، رها کردن کنترل‌ها وسوسه‌انگیز خواهد بود. اما در چنین کارخانه‌ای، اگر حادثه‌ای در محل کار رخ دهد، یا اگر محصولی معیوب فروخته شود، چه کسی پاسخگو خواهد بود؟ برعکس، اگر کارخانه به خوبی اداره شود و محصولات آن دلپذیر باشند، آنگاه چه کسی اعتبار را به دست خواهد آورد؟
آمدن هوش مصنوعی نمی‌تواند به معنای پایان مسئولیت‌پذیری باشد — در واقع، عکس آن صادق است. وقتی یک نفر بیشتر کار می‌کند، مسئولیت بیشتری بر عهده آن شخص است. وقتی افراد کمتری در اتاق هستند، مسئولیت متراکم می‌شود. کارگری که از یک ماشین فاصله می‌گیرد، تصمیم می‌گیرد که فاصله بگیرد. تنها به صورت سطحی به نظر می‌رسد که هوش مصنوعی ما را از بارهای عامل بودن رها می‌کند. در واقع، هوش مصنوعی ما را به چالش می‌کشد تا تشخیص دهیم که در نهایت، همیشه ما مسئول خواهیم بود.