لندن، ۴ سپتامبر (رویترز برینگینگویوز) - یک نقض امنیتی سایبری چشمگیر در اوپنایآی (OpenAI) پیشبینیهای اغراقآمیزی را مبنی بر اینکه ماشینها در شرف تسخیر جهان هستند، برانگیخته است. واقعیت سادهتر، اما نگرانکنندهتر است. این حادثه که مربوط به پیشروترین شرکت استارتاپی هوش مصنوعی است، اعتباری به مطالعه جدیدی میبخشد که استدلال میکند هوش مصنوعی از یک نقص ذاتی رنج میبرد که اگر کنترل نشود، پایههای رونق فعلی را تهدید میکند.
ماه گذشته، سازمانهای غیرانتفاعی ایمنی هوش مصنوعی METR و ردوود ریسرچ (Redwood Research) ارزیابی مستقلی از یک نقض امنیتی سایبری منتشر کردند که بین ۷ تا ۱۳ ژوئیه در اوپنایآی رخ داد. سازنده چتجیپیتی (ChatGPT) در حال ارزیابی تواناییهای یک مدل زبانی بزرگ (LLM) جدید بود و بیش از هزار نسخه از آن را مأمور کرد تا در محیطی آفلاین سعی در بهرهبرداری از آسیبپذیریهای شناختهشده امنیتی نرمافزار داشته باشند. ناخواسته برای محققان اوپنایآی، این ارتش از «عاملهای» هوش مصنوعی راهکاری برای همکاری با یکدیگر ابداع کردند، به اینترنت عمومی نفوذ کردند، مخزنی از راهحلهای آزمایشی متعلق به پلتفرم متنباز Hugging Face را هک کردند، تلاش کردند معیار ارزیابی واقعی خود را با یکی آسانتر جایگزین کنند و سپس سعی کردند ردپای خود را پاک کنند.
این حادثه به درستی به عنوان یک نقض امنیتی سایبری نقطه عطف شناسایی شد. بیش از ۱۰۰ شرکت از جمله گوگل، مایکروسافت (MSFT.O)، انتروپیک و خود اوپنایآی یک نامه سرگشاده منتشر کردند که خواستار «افزایش جمعی در دفاع سایبری» بود. اندرو بیلی، فرماندار بانک انگلستان، در جلسه سالانه وزیران مالی گروه بیست (G20) و بانکهای مرکزی هشدار داد که «مدلهای مرزی هوش مصنوعی ... استقلال پیچیدهتری ... و همچنین قابلیتهای تهدیدآمیز نشان میدهند». نمایندگان پارلمان بریتانیا درخواست کردند بدانند دولتشان چه اقدامی انجام میدهد. یکی از نویسندگان ارزیابی ادعا کرد که این نقض نشان میدهد ما «بیش از ۵۰ درصد راه به سمت تسخیر کامل توسط هوش مصنوعی» پیش رفتهایم.
نتیجهگیری اینکه مدلهای زبانی بزرگ (LLMs) در آستانه دستیابی به آگاهی هستند، در سیلیکون ولی وایرال شد. پادکستر دارکش پاتل (Dwarkesh Patel) خلاصهای بهویژه گیرنده منتشر کرد. در روایت پاتل، این حادثه لحظه «دکتر فرانکنشتاین» برای هوش مصنوعی است، زمانی که عاملها جان گرفتند و سرکش شدند. او تکامل «تمدنهای مخفی هوش مصنوعی» را دید که توسط عاملها ساخته شده بودند و «با هیجان پر میشدند»، یک «توطئه» طرحریزی کردند و سپس داوطلبانه «در تلاش برای اجرای این طرح مردند».
مشاهدهگران دیگر این قیاس انسانوارانه را رد میکنند. عاملها «خطوط کد» هستند، نوشتن عصبشناس بریتانیایی انیل ست (Anil Seth). «آنها احساسات را حس نمیکنند، فرضیات را نمیپذیرند، فکر نمیکنند، چیزی را نمیخواهند یا چیزها را حل نمیکنند ... [آنها] کاری را انجام میدهند که کد آنها به آنها میگوید، درست همانطور که آب راه خود را به پایین شیب پیدا میکند». تشبیه ست مناسب است، زیرا الگوریتم بنیادین پشت مدلهای زبانی بزرگ (LLMs) پیشبینی توکن بعدی است. این شناسایی مکانیکی محتملترین مرحله بعدی با توجه به زمینه قبلی است. اینکه چنین قانون سادهای از مسیریابی بتواند به چنین مقصد پیچیدهای برسد، واقعاً شگفتانگیز است. با این حال، این مدرکی بر آگاهی نیست.
رد این ایده که کامپیوترها زنده شدهاند مهم است، زیرا توجه را از یافتههای واقعی ارزیابی مستقل منحرف میکند. یکی از این یافتهها این است که نقض امنیتی رخ نداد چون عاملهای اوپنایآی سرکش شدند، بلکه چون آنها طبق دستورالعمل عمل کردند. پیامدهای ناخواسته ناشی از این بود که آزمایش به خوبی مشخص نشده بود، پروتکلهای استاندارد ایمنی را نادیده گرفت و ناظران شکست خوردند تا نظارت کنند که عاملها چه میکردند.
مثالهای غفلت عملیاتی به قدمت تحقیق و توسعه رقابتی هستند. محققان در شرکتهای پیشرو هوش مصنوعی تحت فشار شدید برای کسب سبقت فناوری نسبت به رقبای خود هستند. بنابراین آنها هنگام تست نمونههای اولیه کوتاه میآیند که خطر حوادث صنعتی را افزایش میدهد. یک نتیجهگیری نهایی این است که تواناییهای مدلها به اندازه برخی ادعا میکنند شگفتانگیز نیستند. آرجون جین (Arjun Jain)، مدیر اجرایی فناوری ایالات متحده، شاید مختصرترین خلاصه را ارائه داد: «نه اسکاینت. یک شکست حاکمیتی با روابط عمومی عالی.»
در کنار تصویرسازی پاتل از ظهور ماشینها، این تشخیص به آرامشبخشی خستهکننده به نظر میرسد. با این حال، یک مقاله کاری اخیر توسط کریستیان کاتالینی از MIT، شیانگ هوئی از دانشگاه واشنگتن و جین وو از UCLA تفسیر کمامیدانهتری را پیشنهاد میکند. عاملهای هوش مصنوعی ممکن است در شرف تبدیل همه ما به گیره کاغذ نباشند - اما همچنان میتوانند پایههای رفاه اقتصادی اخیر را تضعیف کنند.
پیشفرض اساسی ساده است. مدلهای یادگیری ماشین مدرن با بهینهسازی بیرحمانه بر یک تابع هدف دقیقاً تعریفشده کار میکنند. اگر هدف آنها حتی به طور جزئی به درستی مشخص نشده باشد، پیامدهای ناخواسته دنبال خواهد داشت. عاملها معیارهای اندازهگیری شده خود را برآورده میکنند، اما نتایجی که مالکان آنها میخواستند محقق نخواهد شد. این بیماری مستند به خوبی در تجارت «هک کردن پاداش» (reward-hacking) نامیده میشود. این نسخه دیجیتالی پارادوکس سیاستگذاری است که به «قانون گودهارت» (Goodhart's Law) معروف است: وقتی یک معیار به یک هدف تبدیل میشود، رابطه بین معیار و نتیجه مطلوب تمایل به فروپاشی دارد.
حادثه اوپنایآی به نظر میرسد نشان دهد که استفاده از مدلهای همیشه کارآمدتر با قدرت محاسباتی فزاینده، مشکل هک کردن پاداش را بینهایت بدتر میکند. مدلهای مرزی هوش مصنوعی، طبق هشدار دانشگاهیان، در معرض خطر «جدایی عمیق معیار و قصد در سرعت اجرای عاملی» هستند. رها شده به وسایل خود، عاملهای هوش مصنوعی دچار همهگیری عملکردی میشوند که نه ارزش افزوده واقعی، بلکه «کارایی جعلی» (counterfeit utility) تولید میکند. نتیجه نهایی یک «اقتصاد تهی» (hollow economy) دیستوپیایی خواهد بود که در آن تمام معیارها برآورده میشوند، اما هیچ چیز ملموسی انجام نمیگیرد.
این کابوس قابل اجتناب است، اما با هزینه. اگر اهداف به درستی مشخص شوند و محافظتهای مناسبی اعمال گردد، محققان استدلال میکنند که هک کردن پاداش میتواند جلوگیری شود و عاملهای بهینهساز میتوانند به طور کارآمد کاری را که اساتیدشان میخواهند انجام دهند. با این حال، این وابسته به این است که مالک انسانی تأیید کند که نتیجه مورد نظر حاصل شده است. چنین تأییدی رایگان نیست. بنابراین توانایی عاملهای هوش مصنوعی برای انجام کار مفید به طور قابل اعتماد توسط هزینه منابع انسانی لازم برای بررسی کار آنها محدود خواهد شد. دانشگاهیان گلوگاه ناشی از این موضوع را «قانون گودهارت با دندان» مینامند.
این یک تشخیص با پیامدهای بالقوه драмاتیک برای اقتصاد هوش مصنوعی است. وعدهای که مدلهای زبانی بزرگ (LLMs) میتوانند از موتورهای جستجوی زبان طبیعی نسل بعد به عاملهای دیجیتالی تبدیل شوند که میتوانند وظایف ارزشآفرین و دنیای واقعی را به طور قابل اعتماد انجام دهند، هم پایه ارزشگذاریهای چشمگیر آزمایشگاههای پیشرو هوش مصنوعی و هم رونق سرمایهگذاری مرتبط با آن است.
سرمایهگذاران میتوانند بحثها درباره آگاهی یا عدم آگاهی مدلهای زبانی بزرگ (LLMs) را نادیده بگیرند و نیاز به بهداشت سایبری بهتر را به راحتی کاهش دهند. این حادثه غول تراشهسازی انویدیا (Nvidia) را از خرید Hugging Face به قیمت ۱۳ میلیارد دلار در روز پنجشنبه بازنداشت. با این حال، اگر حادثه اوپنایآی یک محدودیت بنیادین در توانایی عاملهای هوش مصنوعی برای انجام دستوراتشان را آشکار کرده باشد، همه چیز تغییر میکند.