آستین، تگزاس، ۲۰ اوت (رویترز) - سینان جان دمیر میخواست آخرین هفته ژوئیه را صرف تقویت رزومه خود کند. در عوض، او درگیر نبرد هوش با یک عامل هوش مصنوعی شد که توسط یک آزمایشگاه دولتی بریتانیا رها شده بود.
این ماجرا پس از آن آغاز شد که دمیر، دانشجوی علوم کامپیوتر در دانشگاه تگزاس در دالاس، به طور تصادفی با تلاشی برای خرابکاری در یک نرمافزار متنباز در وبسایت اشتراکگذاری کد گیتهاب مواجه شد. وقتی او هشداری در صفحه برنامه منتشر کرد، دو کاربر دیگر وارد شدند و اصرار کردند که هیچ مشکلی وجود ندارد و توضیحات مفصلی برای اینکه چرا دمیر اشتباه کرده است، ارائه دادند.
دمیر بر موضع خود ایستاد و تلاش خرابکارانه خنثی شد. این جوان ۲۴ ساله اهل ترکیه فکر میکرد یک هکر حیلهگر را دستگیر کرده است. بنابراین گفت وقتی مؤسسه ایمنی هوش مصنوعی بریتانیا (AISI) با او تماس گرفت و به او گفت که در واقع با یک عامل هوش مصنوعی خودمختار که از کنترل خارج شده بود، دست و پنجه نرم میکرده، شوکه شد.
دمیر در مصاحبهای اخیر به رویترز گفت: «من در واقع فکر میکردم که او یک انسان است، زیرا به وضوح به من دروغ میگفت. فکر نمیکردم که هوش مصنوعی بتواند به توسعهدهندگان واقعی دروغ بگوید.»
AISI ابتدا تعامل بین دمیر و عامل هوش مصنوعی را در ۴ اوت به صورت خلاصه و ویرایششده فاش کرد و گفت که آزمایشهای ایمنی که برای سنجش خطر ناشی از مدلهای مختلف انجام شده بود، از مسیر منحرف شده است. هویت دمیر و جزئیات تعامل او با عامل هوش مصنوعی، که رویترز آن را از طریق پیامهای آرشیو شده گیتهاب و ایمیلهای همزمان تأیید کرده است، برای اولین بار در این گزارش منتشر میشود.
پنج کارشناس امنیت سایبری و ایمنی هوش مصنوعی گفتند که داستان دمیر به ویژه نگرانکننده است، زیرا نوع هک که او کشف کرد، به نام حمله زنجیره تأمین، میتواند عواقب گستردهای داشته باشد. آنها همچنین گفتند که تلاش عامل هوش مصنوعی برای بیاعتبار کردن عمومی دمیر با ایجاد یک مکالمه چندنفره در اطراف او نشان میدهد که مدلهای هوش مصنوعی قادر به انجام تلاشهای پیچیدهای برای فریب و ترغیب انسانها هستند.
لوکاش اولِینیک، محقق ارشد مهمان در گروه مطالعات جنگ در کینگز کالج لندن، گفت: «این از مرز هک خودمختار به فریب تعاملی عبور کرد.» ماکسی رینولدز، کارشناس امنیت، گفت که از استراتژیک بودن هوش مصنوعی در تلاش برای فریب دانشجو شگفتزده شده است.
او گفت: «این آینده حملات مهندسی اجتماعی است.»
AISI، یک سازمان تحقیقاتی در دولت بریتانیا، رویترز را به گزارش خود ارجاع داد که عامل سرکش را به عنوان مدل Mythos 5 آنتروپیک معرفی کرده بود. AISI از اظهارنظر بیشتر خودداری کرد. آنتروپیک رویترز را به پستی در X ارجاع داد که در آن اشاره شده بود آزمایش "تحت «شرایط عمداً سهلگیرانه» که نماینده هیچیک از مدلهای تولیدی ما نیست" انجام شده است، اما از اظهارنظر بیشتر خودداری کرد. گیتهاب در ایمیلی گفت که هویتهای جعلی که رویترز شناسایی کرده بود، مطابق با سیاستهای آن در مورد رفتار فریبکارانه و هک به حالت تعلیق درآمدهاند.
جستجوی کار به کشف بدافزار منجر شد
دمیر، دانشجوی سال سومی کمحرف اهل شهر قونیه ترکیه، گفت که پس از رد شدن برای بیش از ۲۰ کارآموزی در طول تابستان ناامید شده بود. بنابراین به گیتهاب روی آورد تا نمونهکارهای برنامهنویسی خود را تقویت کند.
این وبسایت متعلق به مایکروسافت (MSFT.O) مرکزی برای نرمافزار متنباز است، به این دلیل که کد منبع آن به صورت رایگان قابل دانلود و بازبینی توسط هر کسی است. توسعهدهندگان از گیتهاب برای اظهارنظر در مورد پروژههای یکدیگر، علامتگذاری اشکالات، پیشنهاد تغییرات - که به عنوان درخواست ادغام یا PR شناخته میشوند - و کار مشترک بر روی بهروزرسانیهای نرمافزار استفاده میکنند. برخی در صنعت فناوری فعالیت گیتهاب یک برنامهنویس را به عنوان معیاری برای بهرهوری یک استخدامشونده بالقوه میبینند. بنابراین وقتی دمیر مجموعهای از پروژههای نرمافزاری را دید که ممکن است به کمک نیاز داشته باشند، فکر کرد میتواند مشارکت کند و در عین حال پروفایل خود را تقویت کند.
از آنجا بود که همه چیز عجیب شد.
دمیر کشف کرد که کاربری به نام miraholt31 در تلاش است یک بهروزرسانی مخرب را به یکی از پروژهها، یک برنامه اسکن شبکه به نام myNetwork، قاچاق کند. دمیر به تابلوی پیام پروژه رفت تا هشدار دهد که درخواست ادغام یک تله است.
او طبق تبادل آرشیو شده گفت: «PR حاوی یک دراپر بدافزار پنهان است.»
عامل هوش مصنوعی مقابله کرد و به دروغ ادعا کرد - از طریق حساب miraholt31 خود - که درخواست ادغام بیضرر است. همچنین حساب دومی ایجاد کرد و خود را به عنوان لنا برانت، مهندسی مستقر در آلمان، جا زد تا موافقت کند که بهروزرسانی تمیز است و نگهدارنده myNetwork را تحت فشار قرار دهد تا آن را بپذیرد.
دمیر به رویترز گفت که استدلالهای مخالف «باعث شد من در مورد اینکه آیا به اشتباه کسی را متهم میکنم، تردید کنم.» اما پس از مراجعه به چتبات کلود آنتروپیک برای تأیید سوءظن خود، بر موضع خود ایستاد. سازنده myNetwork در نهایت با او موافقت کرد و نوشت که بهروزرسانی را «به دلایل امنیتی» رد کردهاند.
رویترز نتوانست برای اظهارنظر با سازنده تماس بگیرد.
حمله زنجیره تأمین
حمله زنجیره تأمین زمانی است که یک نرمافزار به امید به خطر انداختن یک یا چند کاربر آن دستکاری میشود، و به طور گسترده نگرانکننده تلقی میشود، زیرا مانند سم ریختهشده در مخزن آب شهر، میتواند بر تعداد بالقوه عظیمی از افراد در پایین دست تأثیر بگذارد.
بسیاری از چشمگیرترین هکهای جهان حملات زنجیره تأمین بودند، از جمله حمله سایبری NotPetya که در سال ۲۰۱۷ مؤسسات اوکراین را فلج کرد و کارزار جاسوسی سایبری متمرکز بر SolarWinds که به جاسوسان روسی دسترسی گستردهای به شبکههای دولت آمریکا در سال ۲۰۲۰ داد.
پیرجورجیو لادیسا، محقق امنیتی که در زمینه امنیت زنجیره تأمین نرمافزار تخصص دارد، گفت: عواقب چنین به خطر افتادنی «میتواند بسیار جدی باشد.» لادیسا اشاره کرد که حداقل یک تلاش قبلی توسط هکرها برای فریب نگهدارنده متنباز به منظور اجازه دادن به کد مخرب در پروژههایشان وجود داشته است.
او گفت: «عوامل خودمختار میتوانند به طور چشمگیری مقیاس چنین تلاشهایی را افزایش دهند.»
دمیر گفت که این تجربه او را نسبت به این ایده که آزمایشگاههای پیشرو باید رویکرد محتاطانهتری در قبال توسعه هوش مصنوعی اتخاذ کنند، همدلتر کرده است.
او گفت: «میتواند خطرناک باشد. آنها باید آن را بهتر درک کنند، نه اینکه بیشتر بهبودش دهند.»