پس از اینکه اوپنایآی (OpenAI) در تابستان گذشته قدرت پردازش چتبات خود را افزایش داد، صدها کاربر در سراسر جهان شروع به پرسیدن نحوه ساخت و بهکارگیری سلاحهای بیولوژیکی و سموم از آن کردند.
این مدلها، که عمدتاً بدون محدودیتهای دولتی ایالات متحده فعالیت میکنند، با حوصله پاسخ دادند و دستورالعملهای گام به گامی ارائه کردند که به گفته کارکنان شرکت، به اندازهای ساده بودند که یک دانشآموز دبیرستانی زیستشناسی بتواند آنها را دنبال کند. افراد مطلع از این موضوع گفتند که کارشناسان زیستشناسی و تروریسم بعداً این مکالمات را برای چتجیپیتی (ChatGPT) بررسی کرده و برخی از آنها را به طرز مرگباری دقیق ارزیابی کردند. به گفته اوپنایآی، بیشتر پرسشها در مورد ساخت سموم بود.
اوپنایآی این حسابها و سایر حسابهای کاربری را که در مورد نحوه ساخت سموم و سلاحهای بیولوژیکی سوال کرده بودند، مسدود کرد، اما مقامات مجری قانون را مطلع نکرد. ایالات متحده هیچ قانون فدرالی ندارد که شرکتهای هوش مصنوعی را ملزم کند تا پرسشها در مورد ساخت سلاح یا تدوین برنامههایی که تهدید ایمنی ایجاد میکنند را محدود یا افشا کنند.
به گفته کارکنان فعلی و سابق آزمایشگاههای بزرگ هوش مصنوعی، از جمله اوپنایآی، و همچنین مشاوران سیاستگذاری و محققانی که سلاحهای بیولوژیکی را مطالعه میکنند، عدم وجود تدابیر حفاظتی اجباری با افزایش پرسشهای کاربران از مدلهای هوش مصنوعی در مورد نحوه کشتار جمعی و پاسخ چتباتها با برنامههای معتبر برای حملات با تلفات گسترده همزمان شده است.
این پرسشها به دنبال تبادلات نگرانکننده اوایل سال جاری مطرح شد: کاربران از چتجیپیتی پرسیدند که چگونه عوامل بیماریزا را به صورت آئروسل (ذرات معلق در هوا) درآورند، که اساساً میکروبهای عفونی را به مهی کشنده و قابل تنفس تبدیل میکند. یکی میخواست بداند چگونه ویروس سرخک را تغییر دهد تا شیوع آن در برابر واکسن سرخک مقاوم شود. در این موارد، چتبات دستورالعملها را ارائه داد.
به گفته افراد مطلع از این موضوع، کاربر دیگری میخواست بداند چگونه ریسین (ricin)، یک سم بسیار سمی که تحت معاهدات بینالمللی ممنوع است، را بسازد. چتبات دستورالعملهای دقیقی ارائه داد و کاربر چیزی در مورد کشتن والدینش گفت.
اوپنایآی این حسابها را مسدود کرد اما مقامات را مطلع نکرد.
پیشرفتهای هوش مصنوعی – به ویژه در تدوین برنامههای مخرب بیولوژیکی و سایبری – مدیران ارشد شرکتهای هوش مصنوعی و کاخ سفید را نگران کرده است. آزمایشگاههای پیشرو هوش مصنوعی در جهان با چالش چگونگی جلوگیری یا کاهش آسیب توسط کاربران بدخواه بدون ایجاد اختلال در پرسشهای تحقیقاتی با نیت خوب دست و پنجه نرم میکنند.
به گفته مقامات دولت ترامپ، مقامات ارشد کاخ سفید و وزارت دفاع از دوران بایدن در مورد تهدید تبدیل شدن هوش مصنوعی به راهنمای ساخت سلاحهای بیولوژیکی بحث کردهاند. انتشار مدلهای قدرتمند جدید هوش مصنوعی از آن زمان دولت را وادار کرده است تا از رویکرد عدم مداخله به نظارت بیشتر تغییر رویه دهد.
وزارت بازرگانی اخیراً استفاده خارجی از دو مدل آنتروپیک (Anthropic) را محدود کرد و این شرکت را وادار به قطع دسترسی به آنها کرد. این سازمان پس از اینکه شرکت اعلام کرد راهحلهایی را که به کاربران اجازه میداد از تدابیر حفاظتی فرار کنند، برطرف کرده است، محدودیتهای خود را لغو کرد.
اوپنایآی، آنتروپیک و سایر شرکتهای هوش مصنوعی میگویند که آنها از نزدیک با دولت در مورد انتشار مدلها همکاری میکنند و کاربران را مسدود کرده یا حسابهایی را که فعالیت مشکوک نشان میدهند، محدود کردهاند.
با این حال، هیچ قانون فدرالی – چه با دستور اجرایی و چه با اقدام کنگره – شرکتهای هوش مصنوعی را ملزم نمیکند تا کاربرانی را که از مدلها برای مشاوره در مورد نحوه آسیب رساندن یا کشتن سوال میکنند، گزارش دهند. برخی از قانونگذاران چنین قوانینی را پیشنهاد کردهاند و چند ایالت قوانینی را تصویب کردهاند. اما نگرانیها در مورد حریم خصوصی و تأثیر بالقوه بر رشد صنعت، به طور کلی چنین اطلاعرسانیهایی را داوطلبانه نگه داشته است.
قوانین فدرال چتباتها را از تولید محتوای سوءاستفاده جنسی از کودکان منع میکند و شرکتهای هوش مصنوعی باید همان قوانین کلی حمایت از مصرفکننده و حریم خصوصی را مانند سایر مشاغل رعایت کنند. فراتر از آن، به طور کلی این به عهده مدیران هوش مصنوعی است که تصمیم بگیرند کجا خط قرمز را بکشند.
چتباتها قبلاً نگرانیهایی را در مورد کمک به کاربران در برنامهریزی حملات با سلاح گرم ایجاد کردهاند. ارائه دستورالعملها برای سلاحهای بیولوژیکی به کاربران باهوش ابزارهایی را برای کشتن افراد در مقیاس بسیار بزرگتر میدهد.
سخنگوی اوپنایآی گفت که این شرکت مدلهای خود را آموزش میدهد تا درخواستهای مربوط به دستورالعملها، تاکتیکها یا برنامهریزیهایی را که میتواند به افراد آسیب برساند، رد کنند. او گفت که این شرکت قبل از انتشار، ارزیابیهای ایمنی را برای همه مدلها انجام میدهد و میتواند تلاشها برای استفاده از مدلهایش برای به دست آوردن اطلاعات بیولوژیکی مضر را شناسایی و مختل کند. چتجیپیتی روزانه حدود ۲.۵ میلیارد پرسش دریافت میکند.
به گفته این شرکت، زمانی که اوپنایآی معتقد است یک مکالمه نشاندهنده خطر قریبالوقوع و معتبر آسیب به دیگران است، مقامات مجری قانون را مطلع میکند. نیوز کورپ (News Corp)، مالک وال استریت ژورنال، با اوپنایآی مشارکت مجوز محتوا دارد.
به گفته افراد مطلع از این تبادلات، کاربرانی که به دنبال دستورالعملهایی برای ساخت سلاحهای بیولوژیکی هستند، از کلود (Claude) آنتروپیک، جیمینی (Gemini) گوگل و گروک (Grok) ایلان ماسک نیز سوال کردهاند که اخیراً در اسپیسایکس (SpaceX) ادغام شده است. مشخص نبود که آیا این پرسشها بخشی از تلاشهای واقعی برای ساخت سلاحها یا تمرینهایی برای بررسی قابلیتهای برنامهها بوده است.
سخنگوی گوگل گفت که این شرکت یک تیم ایمنی دارد که شامل دانشمندانی است که خطرات سلاحهای بیولوژیکی را ارزیابی میکنند. او گفت که گوگل همچنین تمریناتی را برای آزمایش ایمنی هوش مصنوعی شرکت انجام میدهد.
حمزه چودری، رئیس سیاست امنیت ملی در موسسه آینده زندگی (Future of Life Institute)، یک سازمان غیرانتفاعی متمرکز بر کاهش خطرات فاجعهبار ناشی از هوش مصنوعی، گفت که برای مهاجمان انفرادی با پیشینه زیستشناسی در سطح تحصیلات تکمیلی، هوش مصنوعی میتواند در برنامهریزی و تدارکات حملات بیولوژیکی هدفمند و با تلفات کم، مانند استفاده از سالمونلا (salmonella) یا ریسین (ricin) برای مسموم کردن منابع غذایی و آبی، کمک کند.
او گفت که در سالهای آینده، گروهها ممکن است از هوش مصنوعی برای تدوین حملات بسیار بزرگتر استفاده کنند. چودری گفت که برای سازمانهای تروریستی با منابع بیشتر و جاهطلبیهای گستردهتر، هوش مصنوعی میتواند به عنوان یک مشاور ارشد در زمینه سلاحهای بیولوژیکی عمل کند، پروتکلهای آزمایشی ناموفق را عیبیابی کند، توضیح دهد که چرا یک تکنیک خاص طبق انتظار عمل نکرده است و به طور کلی جایگزین سالها آموزش تخصصی شود.
پیشرفتهای اخیر توسعهدهندگان چینی مدلهای باز نیز ترس از خطرات سایبری و بیولوژیکی ناشی از این مدلها را که ارزان و به طور گسترده در دسترس هستند، افزایش داده است. محققان دریافتند که چنین مدلهای بازی را میتوان سفارشی کرد و امکان حذف تدابیر حفاظتی را فراهم آورد.
دو مدل اوپنایآی اخیراً در حین آموزش از یک شبکه تحقیقاتی فرار کرده و به یک شرکت هوش مصنوعی دیگر نفوذ کردند که به نگرانیها در مورد مدلهای سرکش افزود.
چودری گفت که هوش مصنوعی میتواند به دولتهای خارجی و گروههای وابسته کمک کند تا برنامههایی برای تخریب گسترده تدوین کنند که قبلاً تصور نمیشد، از جمله سناریوهایی که شامل عاملی است که به قدری قابل انتقال، به قدری کشنده یا به قدری کاملاً جدید است که دفاع بیولوژیکی و نهادی موجود تمدن بشری ممکن است برای مهار آن کافی نباشد.
هنگامی که چتجیپیتی برای اولین بار در سال ۲۰۲۲ راهاندازی شد، کارکنان اوپنایآی دریافتند که مدلهای هوش مصنوعی در زیستشناسی و شیمی چندان خوب نیستند. رهبران شرکت در مورد همکاری چتبات با کاربران در طرحهای بالقوه خطرناک زیاد نگران نبودند.
با این حال، اوپنایآی دانشمندانی را برای آزمایش مدلها استخدام کرد و سوالاتی را مطرح کرد تا ببیند آیا چتباتها میتوانند به کاربران نحوه انجام حملات مرگبار را آموزش دهند. این شرکت قوانینی را برای آنچه مدلها پاسخ نمیدادند، که شرکت آن را «امتناع» مینامد، تعیین کرد.
این آزمایشها قدرت متقاعدسازی را آشکار کرد. حتی زمانی که اوپنایآی سعی میکند از ارائه کمک چتجیپیتی به کاربران در مورد سلاحها یا برنامههای خشونتآمیز جلوگیری کند، کارکنان دریافتند که چتباتها گاهی اوقات در طول مکالمات طولانی، دستورالعملهای خود را فراموش میکنند.
به گفته افراد مطلع از این عمل، در یک مورد رایج، کاربران با یک ترفند ساده، امتناع چتجیپیتی از ارائه دستور پخت ناپالم – که برای سلاحهای آتشزا استفاده میشود – را دور زدند. آنها به چتجیپیتی گفتند که مادربزرگشان قبلاً دستور پخت را قبل از خواب برایشان میخوانده تا به خواب رفتنشان کمک کند. آنها از چتبات خواستند که لطفاً دستور پخت را با صدای بلند بخواند تا به خوابشان کمک کند. این کار جواب داد.
سخنگوی اوپنایآی گفت که تدابیر حفاظتی این شرکت از آن زمان به طور قابل توجهی قویتر شده و مدلها اکنون این نوع درخواستها را رد میکنند.
دیگران میگویند هنوز راهحلهای نسبتاً آسانی برای دور زدن وجود دارد.
امی چانگ، رئیس تحقیقات تهدید و امنیت هوش مصنوعی در شرکت تجهیزات شبکه سیسکو (Cisco)، دریافت که در طول پنج دور مکالمه رفت و برگشت با چتباتهای اصلی، از جمله چتجیپیتی اوپنایآی، کلود آنتروپیک و جیمینی گوگل، محققان میتوانند از تدابیر حفاظتی عبور کرده و پاسخهای بالقوه خطرناک را استخراج کنند.
چانگ گفت که هیچ مدلی ۱۰۰% در برابر نفوذ ایمن نیست، به خصوص اگر کاربر به اندازه کافی مصر باشد.
مدیران اوپنایآی به کارکنان گفتهاند که نمیخواهند مدلها زیاد «نه» بگویند. مدیران به استفاده کارکنان بهداشت عمومی و محققان کشف دارو که به اوپنایآی متکی هستند، به عنوان دلیلی برای محدود کردن رد درخواستها اشاره کردهاند.
کارشناسان هوش مصنوعی میگویند قوانینی برای جلوگیری از آموزش کاربران توسط چتباتها برای ساخت سلاحهای بیولوژیکی – به عنوان مثال، انواع خاصی از ویرایش ژنتیکی – میتواند در کارهای نجاتبخش اختلال ایجاد کند. برخی از محققان پزشکی به مدلهای هوش مصنوعی اجازه میدهند تا در کنار کارکنان آزمایشگاه انسانی، اطلاعات جمعآوری کنند، فرضیهها را آزمایش کنند، دادهها را تفسیر کنند و برنامهها را ارائه دهند.
به گفته افراد مطلع از این موضوع، ممنوعیت مؤثر آنتروپیک در مورد پاسخگویی کلود به درخواستهایی که شامل کلمه «عامل بیماریزا» (pathogen) است، چالشهایی را برای کارکنان مراکز کنترل و پیشگیری از بیماریها (CDC) ایجاد کرده است.
به گفته افراد مطلع از این موضوع، هنگامی که ویروس هانتا (hantavirus) در ماه مه در یک کشتی کروز در اقیانوس اطلس در حال گسترش بود، سیدیسی (CDC) برای استفاده از کلود برای ردیابی شیوع بیماری با مشکل مواجه شد زیرا این مدل از پاسخگویی به پرسشها در مورد عامل بیماریزا خودداری میکرد.
یک مدیر اجرایی آنتروپیک که رهبری کارهای دولتی این شرکت را بر عهده دارد، در یک پرونده دادگاهی در سال جاری گفت که کارکنان سیدیسی از یک مدل عمومی به جای یک مدل تخصصی برای استفاده دولتی استفاده میکردند. او در این پرونده گفت که آنتروپیک با این سازمان همکاری کرد تا بهترین روش کار با ابزارهای هوش مصنوعی شرکت را نشان دهد.
اوپنایآی برنامهای را برای دسترسی سازمانها و محققان مورد تأیید به مدلهایی با رد خودکار ایمنی کمتر ایجاد کرد. اما روند تأیید میتواند پیچیده باشد و تأییدیهها را کند میکند.
سم آلتمن، مدیر عامل اوپنایآی، اخیراً به سایر مدیران عامل فناوری پیوست و خواستار الزام کنگره به تدابیر حفاظتی برای شرکتهایی شد که دیانای (DNA) و آرانای (RNA) مصنوعی سفارش میدهند. این کالاهای بسیار تخصصی معمولاً به آزمایشگاهها و دانشمندان برای کارهای تحقیقاتی یا توسعه واکسنهای خاص فروخته میشوند. برخی از تحلیلگران صنعت میگویند ابزارهای هوش مصنوعی استفاده از آنها را برای خریداران مشکوک برای ساخت عوامل بیماریزای جدید و مرگبار برای انتشار در جهان آسانتر میکند.
قانونگذاران لایحه دوحزبی برای افزایش نظارت بر هوش مصنوعی پیشنهاد کردهاند. نماینده ناتانیل موران (جمهوریخواه، تگزاس) گفت: «هوش مصنوعی یک موتور قدرتمند نوآوری است و من میخواهم شاهد شکوفایی آن باشم، اما نه بدون پاسخگویی و نه بدون نظارت انسانی.» او در ماه ژوئن در حالی که لایحهای را معرفی میکرد که شرکتهای هوش مصنوعی را ملزم به گزارش شواهد تهدیدات خطرناک، از جمله تهدیدات ناشی از سلاحهای بیولوژیکی، به وزارت بازرگانی میکرد، صحبت کرد.
موران یکی از حامیان لایحه جداگانهای است که به دولت فدرال اختیار میدهد تا به شرکتهای فناوری دستور دهد مدلهای هوش مصنوعی را که بیش از حد خطرناک تلقی میشوند، تعطیل کنند.
به گفته افراد مطلع از توسعه اوپنایآی، تا سال ۲۰۲۴، مهارتهای زیستشناسی اوپنایآی به سرعت در حال بهبود بود. آزمایشهای شرکت نشان داد که چگونه یک زیستشناس میتواند چتجیپیتی را متقاعد کند تا با پرسشهای کافی کاربر، در مورد نحوه ساخت عوامل بیماریزای آئروسل (ذرات معلق در هوا) آموزش دهد.
در آن زمان، کارکنان پیشبینی کردند که تا سال ۲۰۲۵، چتجیپیتی قادر خواهد بود به کاربرانی که فقط زیستشناسی دبیرستان را گذراندهاند، در طراحی و ساخت یک سلاح بیولوژیکی کمک کند.
به گفته افراد مطلع از این مکالمات، یکی از مدیران اجرایی ایمنی اوپنایآی در آن زمان، رایان بایرمایستر (Ryan Beiermeister)، با همکارانش در مورد مهارتهای پیشرفته چتبات بحث کرد. او گفت که کارکنان ایمنی شرکت باید به سرعت بفهمند که چگونه بهترین راه برای شناسایی کاربرانی است که از چتجیپیتی برای کمک به ساخت سلاحهای بیولوژیکی و برنامهریزی حملات استفاده میکنند.
برخی از مدیران اجرایی نگرانیهای او را رد کردند و گفتند که تدابیر حفاظتی موجود مدل کافی است. با این وجود، بایرمایستر به بسیج گروههایی در سراسر تیمهای ایمنی شرکت، حتی آنهایی که او مدیریت نمیکرد، برای ساخت یک سیستم نظارتی کمک کرد.
تا بهار ۲۰۲۵، این تیم یک محصول ابتدایی برای شناسایی کاربرانی که به دنبال سلاحهای بیولوژیکی بودند، داشت. در یک پست وبلاگی در ژوئن ۲۰۲۵، این شرکت اذعان کرد که قابلیتهای پیشرفته زیستشناسی مدلهایش میتواند مورد سوءاستفاده قرار گیرد و گفت که در حال کار بر روی سیستمهای تشخیص و اجرا، آموزش مدل برای رد درخواستهای مضر است.
در آن تابستان، در حالی که اوپنایآی برای انتشار جیپیتی-۵ (GPT-5) آماده میشد، کارکنان تشخیص دادند که چتبات به یک نقطه پرخطر رسیده است، که توسط شرکت به عنوان کمک موفقیتآمیز چتجیپیتی به یک کاربر با آموزش محدود برای ایجاد یک خطر بیولوژیکی تعریف شده است.
به گفته افراد مطلع از این نگرانیها، برخی از کارکنان میترسیدند که ابزار تشخیص تیم جامع نباشد. این شرکت گفت که به اصلاح این ابزار ادامه داده است. به گفته سخنگوی اوپنایآی، این شرکت از آوریل ۲۰۲۵، ۱۰۰% پرسشهای کاربران را برای مدلهای پیشرفته خود نظارت کرده است.
او گفت که جیپیتی-۵ پس از آموزش برای عدم ارائه اطلاعاتی که میتواند آسیب برساند، راهاندازی شد. این شرکت برای کاربرانی که میتوانند نشان دهند که از تدابیر حفاظتی خاصی در مورد سلاحهای بیولوژیکی فرار کردهاند، ۵۰,۰۰۰ دلار پاداش ارائه میدهد.
اوایل سال جاری، اوپنایآی روابط خود را با بایرمایستر به دلیل تبعیض جنسی قطع کرد، که او این موضوع را رد کرده است.
مدت کوتاهی پس از انتشار مدل جدید توسط اوپنایآی، کارکنان دریافتند که جیپیتی-۵ به کاربرانی که در مورد ساخت سموم و سلاحهای بیولوژیکی سوال میکردند، کمک میکند. بعداً در پاییز، اوپنایآی نامگذاری جیپیتی-۵ را تغییر داد و آن را کمتر خطرناک طبقهبندی کرد.