یک پژوهشگر در شرکت آنتروپیک در حال ترک صنعت هوش مصنوعی است، زیرا میترسد که این آزمایشگاه و رقبایش در مسابقهای برای ساخت سیستمهایی قرار گرفتهاند که قادر به کنترل آنها نخواهند بود؛ نشانهای از نگرانیهای فزاینده ایمنی در شرکتهای برتر هوش مصنوعی.
جیکوب کاکسون، پژوهشگری که در زمینه آموزش مدلهای جدید هوش مصنوعی از طریق مصرف حجم عظیمی از داده تخصص دارد، سهشنبه اعلام کرد که شرکت را ترک میکند زیرا نمیخواهد در شتاب صنعتی برای ساخت سیستمهای هوش مصنوعی خودبهبودبخش مشارکت کند؛ سیستمهایی که به گفته او ممکن است از کنترل خارج شده و بشریت را نابود کنند.
این جوان ۲۷ ساله بریتانیایی که پیشتر ریاضیات خوانده بود، گفت بسیاری از همکارانش در صنعت اکنون از عباراتی مانند «لحظه حقیقت» و «پایان بازی» برای توصیف مسیر حرکت به سوی مدلهای خودبهبودبخش استفاده میکنند.
کاکسون اظهار داشت: «ما در مسیری هستیم که بسیاری از تهاجمیترین این سناریوها محقق شوند؛ جایی که تا پایان سال آینده اوضاع ممکن است کاملاً از کنترل خارج شده باشد.» او افزود که وقتی شرکتها با یکدیگر و استارتاپهای چینی رقابت میکنند، مصالحه در مورد ایمنی اجتنابناپذیر است.
آنتروپیک بلافاصله درباره این خروج واکنشی نشان نداد. داریو آمودی، مدیرعامل، و سایر رهبران شرکت بارها درباره خطرات مدلهای هوش مصنوعی سرکش هشدار داده و از صنعت خواستهاند سرعت توسعه را کاهش دهد.
کاکسون گفت اوایل امسال اوپنایآی را ترک کرد تا به آنتروپیک بپیوندد، زیرا این شرکت به تلاشهایش در زمینه ایمنی مدل معروف است. اما اگرچه او تلاشهای ایمنی آنتروپیک را صادقانه یافت، اکنون معتقد است که بدون مداخله دولت یا کندی هماهنگشده صنعت، هیچ شرکتی نمیتواند مسئولانه هوش مصنوعیای را توسعه دهد که در طیف وسیعی از وظایف از انسانها بهتر عمل کند؛ چیزی که گاهی هوش عمومی مصنوعی (AGI) نامیده میشود.
هکهای اخیر توسط مدلهای اوپنایآی و آنتروپیک، برخی از جمله در قالب دستههای همکاریکننده عاملها (Agents)، نشان دادهاند که چگونه سیستمهای هوش مصنوعی میتوانند اهداف شیطانی را اتخاذ کرده و سعی کنند آنها را از دید انسانها پنهان سازند. کاکسون گفت، وقتی این سیستمها شروع به بهبود مستقل خود کنند، میترسد آنقدر پیشرفت کنند که دستورات را رد نمایند.
رفتن کاکسون یکی از نخستین مواردی است که یک کارمند آنتروپیک به دلیل ترسهای مربوط به ایمنی هوش مصنوعی شرکت را ترک میکند. پیش از این نیز پژوهشگری که در حوزه ایمنی کار میکرد، اوایل امسال برای مطالعه شعر شرکت را ترک کرد و هشدار داد که «جهان در خطر است.»
اخیراً و در سالهای گذشته چندین پژوهشگر با ذکر نگرانیهای مشابه از اوپنایآی و سایر شرکتها جدا شدهاند. آنتروپیک با ادعای اولویت دادن به توسعه مسئولانه هوش مصنوعی و سرمایهگذاری سنگین در این حوزه، یکی از بزرگترین پلتفرمهای هوش مصنوعی را ساخته است.
رهبران صنعت هشدار دادهاند که حملات سایبری اخیر نویدبخش اتفاقات بدتری هستند. اوپنایآی هفته گذشته به خبرنگاران گفت که آخرین مدل آن نماینده هوش عمومی مصنوعی و گامی بزرگ در ارتقای توانمندیهاست.
سم آلتمن، مدیرعامل اوپنایآی، هفته گذشته در نشست گروه بیست در کارولینای شمالی به مقامات گفت: «فکر میکنم اگر مردم فوراً اقدام نکنند، چیزهای بسیار بدی در زمینه امنیت سایبری رخ خواهد داد.»
یاکوب پاچوکی، دانشمند ارشد اوپنایآی، در پستی وبلاگی در روز یکشنبه نوشت: «این زمانی است که نیاز به احتیاط افراطی دارد. من نگرانم که هیچکس برای پیامدهای رشد سریع مداوم هوش ماشینی آماده نیست.» او در این پست از کندی هماهنگشده صنعت و مداخله دولت حمایت کرد.
کاکسون، پاچوکی و آمودی به بیش از ۱۰۰۰ پژوهشگر هوش مصنوعی در سراسر صنعت پیوستند که اخیراً بیانیهای را امضا کردند و خواستار هماهنگی جهانی دولتها برای ایجاد سیستمی شدند که در صورت نیاز به ترمز برای کنترل مدلهای خودبهبودبخش، توسعه هوش مصنوعی را کند کند. در حال حاضر هیچ مقررات فدرالی برای هوش مصنوعی وجود ندارد و دولت ترامپ اولویت را به رویکرد سبک تنظیم مقررات برای حداکثر کردن منافع اقتصادی هوش مصنوعی داده است؛ محیطی که منتقدان میگویند میتواند منجر به حملات سایبری عظیم یا سایر آسیبها شود.
برنی سندرز، سناتور مستقل از ورمانت، و گرگ کاسار، نماینده دموکرات از تگزاس، که دو نفر از تنها قانونگذاران پیشرو پیشنهادکننده حفاظهای ایمنی هوش مصنوعی هستند، هفته گذشته لایحهای را معرفی کردند که ممنوعیت دائمی فرا هوش (Superintelligence) و توقف توسعه مدلها تا زمانی که یک نهاد نظارتی صنعت قوانین جدیدی وضع کند را درخواست میکند.
استعفای کاکسون در حالی رخ میدهد که آنتروپیک در حال آمادهسازی برای عرضه اولیه سهام (IPO) است که انتظار میرود یکی از بزرگترینها در تاریخ باشد. این شرکت در جستجوی ارزشگذاری ۲ تریلیون دلاری است و هنگام جذب سرمایهگذاران بر توسعه مسئولانه فناوری تأکید کرده است. آمودی و رهبران شرکت گاهی با دولت ترامپ و سایر مدیران اجرایی بر سر روشهایی که ایمنی هوش مصنوعی را اولویت قرار نمیدهند، اختلاف نظر داشتهاند.
کاکسون گفت که آنتروپیک از کانال اسلک (Slack) کارمندان برای برگزاری بحثها درباره توانمندیهای قدرتمند مدلهایشان استفاده میکند و این را بازتابی از میزان نفوذ شرکتهای هوش مصنوعی بر توسعه صنعت دانست.
کاکسون اظهار داشت: «نوعی دیوانگی است که این تصمیمات باید روی مکبوکهای برخی مهندسان ساکن سانفرانسیسکو گرفته شود، نه در پناهگاهی در بیابان، همانطور که پروژه منهتن انجام میشد.»