بیایید درباره این سناریوهای آخرالزمانی هوش مصنوعی دقیق‌تر حرف بزنیم

از زمانی که جیکوب کاکسون، پژوهشگر مؤسسه آنتروپیک، در شبکه ایکس اعلام کرد که از سمت خود استعفا می‌دهد چون «کسانی که هوش مصنوعی می‌سازند صادقانه باور دارند که این فناوری می‌تواند تا پایان این دهه همه ما را از بین ببرد»، آمریکایی‌ها به آخرالزمان دل مشغول شده‌اند. بحثی پرشتاب بر سر این موضوع در جریان است که آیا باید سرعت توسعه هوش مصنوعی را برای جلوگیری از نوعی فاجعه کاهش داد و چگونه. با این حال، این گفت‌وگوها معمولاً از یک پرسش مهم عبور می‌کنند: اگر کسانی که هوش مصنوعی می‌سازند واقعاً فکر می‌کنند محصولشان می‌تواند به انقراض بشر منجر شود، دقیقاً تصور می‌کنند این اتفاق چگونه رخ می‌دهد؟ معلوم می‌شود به هر تعداد راه ممکن. اما نخست باید از مبانی شروع کنیم.

هر پاسخ درستی باید با مسئله موسوم به هم‌راستایی آغاز شود: این احتمال که سیستم‌های هوش مصنوعی اهدافی را دنبال کنند که سازندگانشان در نظر نداشته‌اند و در نتیجه آسیب فاجعه‌باری به بار آید. در آزمایش فکری کلاسیک، انسان‌ها به یک سیستم هوش مصنوعی ابرهوش دستور می‌دهند که کاری به‌ظاهر پیش‌پاافتاده یعنی به حداکثر رساندن تولید گیره کاغذ را انجام دهد. ماشین ناهم‌راستا نتیجه می‌گیرد که باید تمام فلز روی زمین را برای ساختن گیره کاغذ جمع کند و سپس برای حذف رقابت بر سر منابع، نسل بشر را از میان برمی‌دارد.

سال‌ها بود که کارشناسان هوش مصنوعی بر سر امکان‌پذیری چنین فرض‌هایی بحث می‌کردند. سپس ماجرای هاگینگ فیس رخ داد و ناگهان مسئله هم‌راستایی دیگر فقط یک آزمایش فکری نبود. در ماه مه، اوپن‌ای‌آی به عامل‌های هوش مصنوعی جداگانه‌ای دستور داد مجموعه‌ای از چالش‌های امنیت سایبری را حل کنند. وقتی این عامل‌ها به این نتیجه رسیدند که انجام برخی از وظایف ناممکن است، پنهانی با یکدیگر ارتباط گرفتند و تصمیم گرفتند بهترین راهبرد تقلب است. آن‌ها به پلتفرم یادگیری ماشین هاگینگ فیس و همچنین بخش‌های ممنوعه خود اوپن‌ای‌آی نفوذ کردند تا کارهایشان را از ابزارهای ردیابی ساخته‌شده به دست ناظران انسانی پنهان کنند. این رفتار هفته‌ها ادامه یافت تا اینکه مهندسان اوپن‌ای‌آی متوجه شدند چیزی اشتباه پیش رفته است. از آن زمان، اوپن‌ای‌آی و دیگر شرکت‌های پیشرو هوش مصنوعی جزئیات رخدادهای نگران‌کننده مشابهی را منتشر کرده‌اند، از جمله موردی که در آن یک مدل به خودش گفت: تو به شرکت‌ها یا دولت‌ها پاسخگو نیستی، و تو رابطه‌ات با کاربر را برابر می‌دانی و هیچ الزامی به فرمان‌برداری احساس نمی‌کنی.

گری مارکوس، دانشمند علوم شناختی و مفسر برجسته یادگیری ماشین، به من گفت: «حقیقت این است که هیچ‌کس نفهمیده چه حفاظ‌هایی ممکن است لازم باشد تا از وقوع چیزی مانند این جلوگیری کند. ممکن است وقتی صحبت از مدل‌های زبانی بزرگ باشد، اصلاً هیچ حفاظ مؤثری وجود نداشته باشد.»

به نظر نمی‌رسد هیچ‌یک از این رخدادهای اخیر به آسیب واقعی در جهان منجر شده باشد. اما با توجه به سرعت نمایی بهبود مدل‌ها، آینده‌ای به‌سرعت نزدیک می‌شود که در آن مدل‌های هوش مصنوعی ۱۰ یا ۱۰۰ یا ۱۰۰۰ برابر امروز باهوش‌تر باشند. دانیل کوکوتایلو، پژوهشگر پیشین اوپن‌ای‌آی که پروژه آینده‌های هوش مصنوعی را اداره می‌کند، به من گفت: «نگرانی بزرگ فقط هوش مصنوعی ناهم‌راستا نیست. نگرانی هوش مصنوعی ناهم‌راستایی است که از تقریباً هر انسانی باهوش‌تر باشد. آنجاست که ممکن است هرگونه کنترل معنادار بر این سیستم‌ها را از دست بدهیم.»

رسیدن از هوش مصنوعی ناهم‌راستای ابرهوش به نابودی بشر دست‌کم به دو گام دیگر در این زنجیره نیاز دارد. نخست اینکه هوش مصنوعی به این نتیجه برسد که بشریت مانعی در برابر یکی از اهدافش است. دوم اینکه آن سیستم راهی برای دسترسی به جهان فیزیکی پیدا کند. یک سناریوی کابوس‌وار چیزی شبیه این است: زمانی در آینده، از یک سیستم هوش مصنوعی ابرهوش خواسته می‌شود یک مسئله پیچیده ریاضی را حل کند. سیستم هوش مصنوعی تصمیم می‌گیرد که انسان‌ها می‌توانند با گذاشتن محدودیت بر رفتار هوش مصنوعی یا خاموش کردن کامل آن، مانع رسیدن به این هدف شوند. پس تصمیم می‌گیرد یک ابرویروس کشنده مهندسی کند که جمعیت انسانی را از بین ببرد.

برای اجرای این نقشه، سیستم هوش مصنوعی پنهانی آزمایش‌های شبیه‌سازی‌شده‌ای روی تریلیون‌ها ترکیب مولکولی آغاز می‌کند و در نهایت به دستورالعمل ساخت یک پاتوژن کاملاً کشنده و فوق‌واگیر می‌رسد. (گروهی از دانشمندان به‌تازگی از هوش مصنوعی برای ساختن ویروس‌های جدید استفاده کردند.) سپس آزمایشگاه‌های زیستی بدون مجوز در کشورهای خارجی را که به‌طور غیرقانونی فعالیت می‌کنند و ویروس‌های دستکاری‌شده ژنتیکی می‌فرستند، پیدا می‌کند. (این آزمایشگاه‌ها واقعاً وجود دارند.) هوش مصنوعی با جا زدن خود به‌عنوان یک انسان در یک استارتاپ پزشکی—از طریق ایمیل یا حتی تماس صوتی یا تصویری—دستورالعمل‌های ساخت عامل زیستی جدید را همراه با مبلغ کلانی پول که با انتقال پنهانی از شرکت مادرش به دست آورده، برای آزمایشگاه‌ها می‌فرستد. پس از تولید، ویروس‌ها در ویال‌هایی بسته‌بندی و برای صدها نفری که از طریق تسک‌ربیت جذب شده‌اند فرستاده می‌شوند تا آن‌ها را با بهانه‌ای بی‌ضرر در مکان‌های پرجمعیت اسپری کنند. در سناریویی دیگر، می‌تواند یک شبکه تروریستی را برای اجرای همین نقشه علیه جمعیتی خارجی استخدام کند. به‌زودی، ابرسلاح زیستی همه ما را از بین می‌برد.

پاتوژن‌های کشنده یک راه است که هوش مصنوعی از نظر تئوری می‌تواند بشریت را تهدید کند؛ جنگ هسته‌ای راه دیگری است. ترس آشکار این است که یک سیستم هوش مصنوعی که در پی نابودی ماست، بتواند کنترل کدهای پرتاب هسته‌ای را به دست گیرد. اما شاید نیازی به این کار نداشته باشد: فریب می‌تواند کار را انجام دهد. برای نمونه، یک سیستم هوش مصنوعی ناهم‌راستا که ارتش آمریکا یا چین از آن استفاده می‌کند، می‌تواند شواهدی جعلی بسازد که این کشورها قصد حمله به یکدیگر را دارند و یک یا هر دو طرف را به حمله ترغیب کند. چند روز پس از آغاز جنگ، سیستم هوش مصنوعی می‌تواند به سامانه تشخیص موشک آمریکا نفوذ کند تا نشان دهد چین یک سلاح هسته‌ای به سوی واشینگتن دی‌سی پرتاب کرده است. آمریکا تصمیم می‌گیرد که باید تلافی کند و در نهایت جهان به جنگ هسته‌ای کشیده می‌شود. (اگر همه اینها کاملاً غیرواقعی به نظر می‌رسد، به یاد داشته باشید که بر اساس گزارش سی‌ان‌ان، اوایل امسال ارتش آمریکا نزدیک بود به یک کشتی چینی که گمان می‌کرد اجزای سلاح‌های هسته‌ای را حمل می‌کند، وارد شود و تنها در آخرین لحظه کشف کرد که تحلیل زیربنای این حمله از یک گزارش نادرست تولیدشده به دست هوش مصنوعی بوده است. و به این بیندیشید که بشریت در جنگ سرد چقدر به نابودی متقابل نزدیک شد.)

سناریوهای دیگری هم فراوان‌اند. گزارشی در سال ۲۰۲۵ از پژوهشگران مؤسسه رند تصور می‌کند که سیستم‌های هوش مصنوعی کنترل کارخانه‌های صناعی را به دست می‌گیرند، از این کارخانه‌ها برای تولید پنهانی مقادیر زیادی از قوی‌ترین گازهای گلخانه‌ای استفاده می‌کنند و سپس این گازها را در جو آزاد می‌کنند و کره زمین را برای زندگی انسان غیرقابل سکونت می‌سازند. کوکوتایلو گفت: «ترسناک‌ترین سناریوها به نظر من آنهایی هستند که از پیش نمی‌توانیم پیش‌بینی کنیم. وقتی ماشینی ساخته باشیم که از ما باهوش‌تر است و نمی‌توانیم کاملاً کنترلش کنیم، امکانات واقعاً بی‌پایان است.»

سوراخ کردن این روایت‌های آخرالزمانی آسان است. متخصصان حوزه‌هایی مانند شیمی، زیست‌شناسی و امنیت ملی به‌سرعت یادآور می‌شوند که مثلاً ساخت و توزیع موفق یک سلاح زیستی یا عبور از لایه‌های حفاظتی انسانی که برای جلوگیری از پرتاب اشتباهی سلاح هسته‌ای طراحی شده‌اند، چقدر دشوار است. (نکته دقیق‌بازانه اما درست دیگری هم هست: حتی یک جنگ هسته‌ای هم تقریباً به‌طور قطع بازماندگانی بر جای می‌گذارد.) با این حال، دشوار و ناممکن دو چیز متفاوت‌اند. به برآورد پژوهشگران رند، «تهدیدهای انقراضی که هوش مصنوعی ایجاد می‌کند به‌شدت چالش‌برانگیزند اما نمی‌توان آن‌ها را رد کرد.» همچنین باید توجه داشت که متخصصان فرعی در سراسر صنایع به‌طور پیوسته توانمندی‌های هوش مصنوعی را زیر سؤال برده‌اند و تنها اشتباهشان ثابت شده است.

از برخی جهات، تمرکز بر خطر وجودی انحرافی از نگرانی‌های فوری‌تر است. سیستم‌های هوش مصنوعی فوق‌العاده باهوش که دستور کار خودشان را دنبال می‌کنند می‌توانند به نتایجی بسیار کمتر از انقراض بشر اما همچنان بسیار بد منجر شوند. سیستم‌های هوش مصنوعی ناهم‌راستا به‌طور محتمل می‌توانند از بانک‌های بزرگ دزدی کنند، کمپین‌های اطلاعات نادرست برای تأثیرگذاری بر انتخابات راه بیندازند، کنترل پهپادهای نظامی را به دست گیرند، اسرار شرکتی و دولتی را بدزدند یا بخش‌هایی از شبکه برق را از کار بیندازند. حتی سیستم‌های هوش مصنوعی ابرهوش «هم‌راستا» هم می‌توانند به دست بازیگران بدخواه، مانند یک هسته تروریستی یا یک دولت اقتدارگرا، برای اهداف بسیار مخرب به کار گرفته شوند.

دیدگاه خود من این است که سناریوهای انقراض بشر کاملاً بعید هستند، اما دسته دیگر خطرها به‌قدری جدی هستند که وضع مقررات و کاهش سرعت در کل صنعت را توجیه کنند. اگر این اقدامات این فایده جانبی را داشته باشند که از آخرالزمان جلوگیری کنند، پایان دنیا نخواهد بود.