در ۲۴ ساعت گذشته، سیلیکون‌ولی وسواسی نسبت به یک پست وبلاگی ۲۶ هزار کلمه‌ای از نیک کاماراتا، پژوهشگر هوش مصنوعی، پیدا کرده است. این سند «مهم‌ترین مقاله»، «مهم‌ترین نتیجه» و «بهترین خبر سال» یا حتی در تاریخ پژوهش هوش مصنوعی—و شاید تا ابد—نامیده شده است. حتی سم آلتمن، مدیرعامل اوپن‌ای‌آی نیز آن را ستایش کرد. کاماراتا مجموعه‌ای از ادعاهای جسورانه و شگفت‌انگیز درباره ماهیت هوش مصنوعی مطرح می‌کند که اگر درست باشند، برخی از پیش‌فرض‌های اساسی صنعت او را درباره چیزی که می‌سازد، زیر سوال می‌برند. پس از ماه‌ها حملات هکری مرتبط با هوش مصنوعی و افزایش واکنش‌های عمومی علیه این صنعت، بسیاری از افراد کاماراتا را کسی می‌بینند که نه تنها برای درک، بلکه برای کنترل فناوری در حال آزادسازی بر جهان، امیدوارکننده عمل کرده است.
به طور خلاصه، استدلال اصلی کاماراتا این است که مدل‌های هوش مصنوعی مولد در واقع جعبه‌های سیاه نیستند، برخلاف تصور رایج که این سیستم‌ها آنقدر بزرگ و پیچیده هستند که تقریباً غیرقابل نفوذند. در حقیقت، کاماراتا استدلال می‌کند که مسیر نسبتاً روشنی برای درک آن‌ها وجود دارد. اگر اینطور باشد، اهمیت مادی آن می‌تواند عظیم باشد: راهی برای نقشه‌برداری از عملکرد داخلی مدل‌های هوش مصنوعی فراهم می‌کند و در نتیجه، شاید مانع از ایجاد انواع آسیب‌ها شود—مانند هک مستقل شرکت‌ها و کشورهای حاکم، تشویق توهمات کاربران، یا فریب دادن خود پژوهشگران هوش مصنوعی. یک حوزه کامل پژوهشی به نام «تفسیر مکانیکی» (mechanistic interpretability) دقیقاً به مطالعه همین موضوع اختصاص دارد.
استدلال به همان اندازه که گوینده آن مهم است، اهمیت دارد. کاماراتا، کارمند سابق اوپن‌ای‌آی، شخصیتی محترم در رشته خود است. سال‌ها پیش، او نقش کلیدی در تثبیت ادعای مخالف داشت که اکنون حکمت رایج شده است: اینکه شبکه‌های عصبی، معماری نرم‌افزاری که هوش مصنوعی مولد بر پایه آن ساخته شده، غیرممکن یا حداقل بسیار دشوار برای درک هستند. در این مقاله جدید، کاماراتا که اکنون در شرکت پژوهشی هوش مصنوعی گودفایر کار می‌کند، عملاً می‌گوید که او و کل رشته‌اش از آن زمان تاکنون اشتباه کرده‌اند. یکی از ناظران نوشت: «ادعاها اینجا تکان‌دهنده‌ای احساسی دارند.» یا همانطور که دیگری روی ایکس نوشت، آن‌ها «خیلی خیلی خیلی بزرگ» هستند.
شبکه‌های عصبی، الهام گرفته از مغز انسان، شامل اتصالات لایه‌لایه میان گره‌های فردی یا «نورون‌ها» هستند که هنگام پاسخ به یک پرسش فعال شده و اطلاعات را به یکدیگر ارسال می‌کنند. پژوهش‌های قبلی، از جمله کارهای کاماراتا، ثابت کردند که نورون‌های ماشینی فردی می‌توانند در پاسخ به موضوعات مختلف و بی‌ربط فعال شوند—for instance، یک نورون می‌تواند مربوط به تصاویر چهره گربه، پای گربه و جلوی خودروها باشد. هیچ‌کس مطمئن نبود چرا این اتفاق می‌افتد، اما یکی از توضیحات این بود که چون مدل‌های هوش مصنوعی حاوی اطلاعات بسیار بیشتری نسبت به تعداد نورون‌هایشان هستند، مجبورند این گره‌ها را بازتعریف کنند. به هر حال، داشتن توابع ظاهراً دلخواه و متعدد توسط واحدهای پایه یک مدل هوش مصنوعی، درک آنچه در زیر پوست رخ می‌دهد را بسیار دشوار می‌کرد.
کاماراتا اکنون معتقد است که نورون‌های فردی قابل فهم هستند و هر کدام دارای یک تابع خودسازگار است. شبکه‌های عصبی «گره‌های درهم» نیستند، بلکه «تمیز» هستند، او نوشت. او دریافت که نورون چهره گربه و چهره خودرو، در واقع به چیزهایی با شکل V—including شعله‌های V شکل و جت‌های آب پاسخ می‌داد. این امر سازوکارهای داخلی هوش مصنوعی را نسبتاً ساده و قابل پیش‌بینی می‌کند، نه مرموز و مبهم. و اگر بتوانیم از این درک بهره ببریم، برخی در صنعت معتقدند، احتمال اینکه هوش مصنوعی از کنترل خارج شود و مثلاً همه ما را بکشد، بسیار کمتر خواهد بود. آدم مجمودار، پژوهشگر اوپن‌ای‌آی، روی ایکس نوشت: «این واقعاً یکی از بزرگ‌ترین موارد خوش‌بینی در سال‌های اخیر است!»
همه با کاماراتا موافق نیستند. اولاً، ۲۶ هزار کلمه او صرفاً یک «فرضیه کاری» برای یک «مقاله فنی در حال آماده‌سازی» بود و بنابراین ارزیابی فنی آن دشوار بود. ثانیاً، شبکه‌های عصبی که او نزدیک‌ترین بررسی را روی آن‌ها انجام داد، مدل‌های بینایی بودند که معمولاً ساده‌تر و بهتر از مدل‌های زبانی زیربنایی چت‌جی‌پی‌تی و کلود شناخته شده‌اند. ممکن است کاماراتا اشتباه کند یا ادعای خود را اغراق‌آمیز بیان کرده باشد. پست وبلاگی داوری همتا نشده است و مقاله آینده نیز احتمالاً نخواهد شد، طبق روال معمول در این رشته. خود پژوهش نوعی جعبه سیاه است. (کاماراتا که فوراً به درخواست برای اظهار نظر پاسخ نداد، امروز صبح روی ایکس نوشت که از تمام بحث‌ها قدردانی می‌کند و رویکردش «تا کنون امیدوارکننده به نظر می‌رسد» برای «مدل‌های زبانی مدرن بزرگ‌تر».)
بحث‌ها درباره مقاله کاماراتا شکاف‌های فلسفی را آشکار کرد. نیل ناندا، که تفسیر مکانیکی را در گوگل دیپ‌مایند رهبری می‌کند، در ارزیابی یافته‌های کاماراتا نوشت: «این کار جالب است، اما فکر نمی‌کنم به‌روزرسانی قابل توجهی برای تصویر کلی باشد.» حتی اگر پژوهشگران بتوانند تابع هر نورون در کلود میثوس ۵.۱ یا جی‌پی‌تی-۶ آسترا را تقریب بزنند، این به معنای درک نحوه اتصال آن‌ها و عملکرد شبکه به عنوان یک کل نیست. فیزیکدانان مدل‌های خوبی از اتم‌ها و تعاملات بین اتمی دارند، اما نمی‌توانند از اصول اولیه هر رویداد فیزیکی را توضیح دهند یا پیش‌بینی کنند (بنابراین آب‌وهوای شدید غیرقابل پیش‌بینی یا به همین ترتیب، مفهوم اراده آزاد). شما همه دوستان خود را از مدرسه، محل‌های کار مختلف و لیگ سافت‌بال محلی می‌شناسید، اما همیشه نمی‌توانید بدانید آیا در جشن تولد شما با هم کنار خواهند آمد یا خیر. مهم‌تر از همه، بینش‌هایی درباره عملکرد داخلی یک مدل هوش مصنوعی لزوماً منجر به بینش‌هایی درباره نحوه ساخت فناوری قابل اعتمادتر نخواهد شد. تفسیرپذیری ممکن است برای ساخت مدل‌های هوش مصنوعی ایمن‌تر ضروری باشد، اما به هیچ وجه کافی نیست.
اگر مدل‌های هوش مصنوعی مولد واقعاً در زیر پوست خوانا باشند، قطعاً به ایمن‌تر شدن فناوری کمک خواهد کرد. اما بسیاری از افراد در سیلیکون‌ولی، و به ویژه کارمندان اوپن‌ای‌آی، با هیجان نفس‌گیر پست وبلاگی کاماراتا را بحث می‌کنند که انعکاس سابقه طولانی سیلیکون‌ولی در ارائه راه‌حل‌های فنی آسان و وعده‌های بزرگ است—نگرشی که با سوابق مختلط آن در پیگیری موارد مطابقت ندارد.
هر یافته پژوهشی مربوط به ایمنی هوش مصنوعی نیازمند صنعتی است که به دنبال عرضه‌های عمومی چند تریلیون دلاری است، تا سرعت خود را کم کند و نگاهی بلند و سخت به خود بیندازد. شاید نگران‌کننده‌تر از یک ابرهوش غیرقابل فهم، این واقعیت باشد که گروهی از شرکت‌ها علناً اعلام می‌کنند که واقعاً نمی‌دانند چه چیزی می‌سازند—و سپس همچنان این فناوری را به افراط می‌رانند. اگر کاماراتا درست گفته باشد، شرکت‌های هوش مصنوعی باید با یکدیگر، حسابداران خارجی و دولت‌ها همکاری کنند تا بفهمند چگونه چنین پیشرفتی را به محصولات ایمن و قابل اعتماد تبدیل کنند. و در حال حاضر، بدون هیچ مقررات جدی، هیچ‌کس جز خود شرکت‌ها نمی‌تواند تصمیم بگیرد چنین اقدامی انجام دهد. همه اینها نشان می‌دهد که جعبه‌های سیاه واقعی خود اوپن‌ای‌آی و انتروپیک هستند.