شتاب‌گیری در پژوهش: نگاهی به درون اوپن‌ای‌آی

برای آنکه هوش عمومی مصنوعی (AGI) به نفع تمام بشریت باشد، ما معتقدیم که باید به صورت دموکراتیک اداره شود. این امر تنها از طریق بحث عمومی آگاهانه درباره قابلیت‌ها، خطرات و تدابیر حفاظتی سیستم‌های هوش مصنوعی بسیار توانمند ممکن است. مردم در همه جای جهان باید مسیر احتمالی آینده هوش مصنوعی مرزی را درک کنند تا بتوانند صدایی معنادار در نحوه توسعه آن داشته باشند.

شفافیت درباره خطرات، حوادث و تدابیر حفاظتی خاص ضروری است، اما کافی نیست. ما معتقدیم که عموم مردم نیز باید بدانند توانمندترین سیستم‌ها چگونه در حال توسعه هستند و چگونه در داخل آزمایشگاه‌های مرزی، پیشرفت پژوهشی را هدایت می‌کنند.

هدف ما ساخت ایمن یک پژوهشگر خودکار هوش مصنوعی است که بتواند تحت نظارت انسانی برای پیشبرد یادگیری عمیق و همسویی کار کند و بهبودهای تکراری را امکان‌پذیر سازد. طبق اندازه‌گیری‌های ما، اکنون به هدف اعلام‌شده در پاییز گذشته، یعنی داشتن یک کارآموز پژوهشی خودکار تا سپتامبر امسال، رسیده‌ایم. منظور ما از «کارآموز پژوهشی»، سیستمی است که می‌تواند وظایف پژوهشی مشخص را تحت دستورالعمل انسانی انجام دهد، از جمله وظایفی که تکمیل آن‌ها برای یک پژوهشگر ماهر چند روز طول می‌کشد. ما پیشرفت قوی به سمت ایجاد یک پژوهشگر خودکار هوش مصنوعی تا مارس ۲۰۲۸ داریم.

در طول سال جاری، کار روزمره پژوهشگران اوپن‌ای‌آی تغییرات اساسی کرده است. پژوهشگران در طول روز (اغلب در جلسات همزمان) از عوامل کدنویسی استفاده می‌کنند و میزان کل استفاده به سرعت در حال افزایش است و از رشد سایر تیم‌های اوپن‌ای‌آی پیشی گرفته است. پژوهشگران سریع‌تر کد می‌نویسند و آزمایش‌های بیشتری انجام می‌دهند. شیوه‌های استفاده پژوهشگران از عوامل نیز در حال تغییر است: عوامل وظایف پیچیده‌تری را بر عهده می‌گیرند و اغلب موفق‌تر عمل می‌کنند. پژوهش هوش مصنوعی فرآیندی پیچیده با گلوگاه‌های بالقوه متعدد است، بنابراین احتمالاً سرعت کلی پیشرفت با این شاخص‌های خاص همخوانی نخواهد داشت. اما به طور کلی، این یافته‌ها با برداشت گسترده بسیاری از ما در داخل سازمان مبنی بر اینکه ابزارهای عامل‌محور به طور معناداری پیشرفت پژوهشی را تسریع می‌کنند، سازگار است. مردم همچنان اولویت‌های پژوهشی ما را تعیین می‌کنند، قضاوت می‌کنند کدام ایده‌ها و نتایج را دنبال کنند و تصمیم می‌گیرند آیا سیستم‌ها را مقیاس‌دهی، متوقف یا استقرار دهند.

ما معتقدیم اگر به صورت مسئولانه انجام شود، پژوهش خودکار هوش مصنوعی منجر به مدل‌هایی خواهد شد که رفاه انسان را مستقیماً افزایش داده و مأموریت اوپن‌ای‌آی را پیش می‌برند. این امر می‌تواند هزینه هوش پیشرفته را کاهش دهد تا مردم در سراسر جهان از آن بهره‌مند شوند. ما بخشی از این کار را به این دلیل دنبال می‌کنیم که پژوهش خودکار می‌تواند به حل مسائل همسویی و ساخت دفاع‌ها در برابر هوش مصنوعی روزبه‌روز توانمندتر کمک کند. یک پژوهشگر خودکار هوش مصنوعی همچنین می‌تواند یک پژوهشگر خودکار ایمنی یا همسویی باشد. سیستم‌های همسو و توانمندتر می‌توانند به امنیت زیرساخت‌های حیاتی، دفاع در برابر عوامل خطرناک هوش مصنوعی و توسعه اقدامات حفاظتی جدید کمک کنند.

این‌ها دلایلی برای توسعه قابلیت‌های پژوهشی خودکار مفید هستند، اما به این معنا نیستند که RSI سریع لزوماً نتیجه‌ای است که باید به دنبال آن باشیم. اینکه آیا و چگونه ادامه دهیم، باید به توانایی ما در حفظ کنترل انسانی و انتخاب‌های دموکراتیک آگاهانه درباره مزایا و خطرات بستگی داشته باشد.

ما هنوز نمی‌دانیم چگونه می‌توان ایمن به RSI کامل و همسو رسید. ما در تلاشیم تا تدابیر همسویی و ایمنی را همگام با قابلیت‌ها مقیاس‌دهی کنیم. اما نمی‌توانیم فرض کنیم که پیشرفت در همسویی و ایمنی همگام خواهد بود و سیستم‌های توانمندتر ممکن است پایش آن‌ها دشوارتر شود. کار دقیق همسویی و ایمنی در مرکز این تلاش قرار دارد و با اندازه‌گیری و کاهش مشکلات ایمنی که امروزه در سیستم‌های کدنویسی عامل‌محور مشاهده می‌کنیم، آغاز می‌شود. هر زمان که تشخیص دهیم ادامه دادن خطر ایمنی غیرقابل قبولی را ایجاد می‌کند، پاسخ مناسب خواهیم داد، از جمله کاهش سرعت یا توقف توسعه یا استقرار سیستم‌هایی که احساس می‌کنیم نمی‌توانیم به اندازه کافی از آن‌ها محافظت کنیم.

پس از حادثه اخیر هاگینگ‌فیس (Hugging Face)، ما این تعهد را به اجرا گذاشتیم و آموزش تقویتی (RL) روی جدیدترین مدل‌های خود که برای استقرار در نظر گرفته شده بودند را متوقف کردیم، در حالی که محیط‌های پژوهشی خود را سخت‌تر و تست نفوذ (Red-teamed) کردیم و پوشش سیستم‌های پایش خود را گسترش دادیم. این امر تمام پژوهش‌ها را متوقف نکرد: برخی بارهای کاری تحت کنترل‌های قوی‌تر از سر گرفته شدند، در حالی که برخی دیگر متوقف ماندند. ما استانداردهای ایمنی و همسویی خود را افزایش دادیم و کار ایمنی را عمیق‌تر در چرخه عمر مدل منتقل کردیم و خواستار شواهد قوی‌تر رفتار همسو در تمام مراحل آموزش شدیم.

امروز ما نمای دقیقی از چگونگی مشارکت سیستم‌های عامل‌محور در پیشرفت ما به سمت RSI در ماه‌های اخیر ارائه می‌دهیم. سیستم‌های عامل‌محور جدید و به سرعت در حال تغییر هستند و تلاش‌های اندازه‌گیری ما هنوز مقدماتی است. با اشتراک‌گذاری این نتایج اولیه و روش‌های پشت آن‌ها، هدف ما آگاه‌سازی عموم، تشجيع یک هنجار افشای عمومی و کمک به حرکت حوزه به سمت استانداردهای مشترک اندازه‌گیری است.

در نهایت، همانطور که در طرح سیاست‌گذاری مرزی خود نوشتیم، معتقدیم که ما و سایر شرکت‌ها باید ملزم به ردیابی عمومی پیشرفت خود به سمت RSI شویم. حتی بدون چنین الزامی، ما برنامه‌ریزی کرده‌ایم که در مورد پیشرفت RSI خود شفاف بمانیم. ما رویکرد شفافیت خود را با بهبود تکنیک‌های اندازه‌گیری و درکمان تکامل خواهیم داد، در حالی که نیاز به محافظت از اطلاعات امنیتی و مالکیت معنوی را نیز متعادل نگه می‌داریم.

در ابتدای امسال، پژوهشگر میانی رتبه‌بندی‌شده بر اساس استفاده از عامل در اوپن‌ای‌آی فقط از عوامل کدنویسی به مقدار ناچیزی استفاده می‌کرد. تا اواسط آگوست، پژوهشگر میانی عوامل را به طور روزانه در کار خود ادغام می‌کرد و بیش از ۶۰۰ دلار در روز استنتاج (Inference) با قیمت API مصرف می‌کرد. کاربر صدک نودم در سازمان پژوهشی ما اکنون بیش از ۷۰۰۰ دلار توکن در روز استفاده می‌کند.

قبل از ژوئن ۲۰۲۶، زمان اجرای کل عوامل در سراسر سازمان پژوهشی هنوز کمتر از کل کار انسانی بود. این وضعیت از آن زمان تغییر کرده است. از نظر یک روز کاری استاندارد ۸ ساعته، تا اواسط آگوست، سازمان پژوهشی در مجموع به ازای هر روز کاری انسانی، ۳.۱ روز کاری تلاش عامل را مصرف می‌کند.

راه دیگری برای نگاه به این موضوع، درک تعداد پژوهشگرانی است که از جریان‌های کاری بسیار همزمان (مثلاً اجرای ۴ یا بیشتر عوامل به طور همزمان) استفاده می‌کنند. همانطور که در زیر نشان داده شده است، این عدد در حال افزایش است. این ارقام شامل اوج‌های روزانه هر دو دسته از عوامل شروع‌شده مستقیماً توسط کاربر و عوامل فرعی ایجادشده در پایین‌دست از آن‌هایی است که کاربر مستقیماً راه‌اندازی کرده است.

بخش زیادی از پژوهش هوش مصنوعی را می‌توان فرآیندی نیروی‌بر دانست که هدف آن ادغام یک بهبود جدید در هوش یا عملکرد مدل در یکی از مدل‌های اصلی ما است. این فرآیند به مراحل زیادی وابسته است و قابلیت‌ها زمانی پیشرفت می‌کنند که همه مراحل درست با هم پیش بروند: پژوهشگران باید بهبودهای جدید طراحی کنند، ارزیابی‌هایی برای قضاوت عملکرد مدل بنویسند، زیرساخت‌هایی برای آزمایش این بهبودها در مقیاس بزرگ ایجاد کنند، حشرات (Bugs) و رفتارهای ناایمن یا ناهمسو را در حین آموزش شناسایی کنند و ایده‌های برنده را در یک اجرای آموزش اصلی ادغام نمایند. شکست در هر بخشی از فرآیند پژوهش می‌تواند کل حلقه را محدود کند.

نوشتن کد و اجرای آزمایش‌ها دو فعالیت اصلی هستند که پژوهشگران به عنوان بخشی از کار خود انجام می‌دهند و ما شواهدی مبنی بر تسریع این فرآیندها می‌بینیم.

این نقاط داده نسبتاً آسان برای اندازه‌گیری هستند، اما تفسیر آن‌ها می‌تواند دشوار باشد. با پیشرفت اتوماسیون، وظایفی که کمترین قابلیت خودکارسازی را دارند، سهم بزرگ‌تری از تلاش پژوهشگر را به خود اختصاص خواهند داد و به گلوگاه‌های مهم پیشرفت آینده تبدیل خواهند شد. محاسبات (Compute) عامل محدودکننده دیگری برای پیشرفت است و ممکن است با گذشت زمان و کاهش سایر گلوگاه‌ها اهمیت بیشتری پیدا کند.

در طول سال ۲۰۲۶، تعداد آزمایش‌ها به ازای هر آزمایشگر فعال افزایش یافته است، به طوری که آگوست ۲۰۲۶ بالاترین رکورد از زمان شروع ردیابی در ژانویه ۲۰۲۵ است. این امر با افزایش پذیرش Codex همبستگی دارد، هرچند توجه داشته باشید که محاسبات موجود ما نیز از سال ۲۰۲۵ به طور قابل توجهی رشد کرده است.

هم برداشت‌های کیفی و هم داده‌های داخلی نشان می‌دهند که ترکیب وظایفی که پژوهشگران به عوامل کدنویسی واگذار می‌کنند در حال تغییر است و واگذاری وظایف سطح بالاتر و بلندمدت‌تر با گذشت زمان رایج‌تر می‌شود.

برای دریافت تصویر واضح‌تر از این روند، ما استفاده اخیر در سازمان پژوهشی را با استفاده از طبقه‌بندی منتشرشده اخیراً از انواع مختلف کارهایی که بخشی از چرخه عمر تحقیق و توسعه (R&D) هوش مصنوعی است، تحلیل کردیم. این طبقه‌بندی، الهام‌گرفته از سیستم قدیمی O*NET برای طبقه‌بندی انواع کار، به طور خاص برای تحقیق و توسعه هوش مصنوعی مرزی تنظیم شده و فرآیند را به شش فاز اصلی تقسیم می‌کند:

1. تصمیم‌گیری: چه چیزی را کار کنیم، چه چیزی را ادامه دهیم، منابع را کجا تخصیص دهیم
2. طراحی: ایده‌های پژوهشی و مشخصات مهندسی
3. ساخت: کد و مجموعه‌داده‌ها
4. اجرا: اجرای آموزش/ارزیابی، سخت‌افزار، سرویس‌دهی
5. تحلیل: آزمایش‌ها، مدل‌ها، استقرار، کار خارجی
6. ارتباط: یافته‌ها، بازخورد، وضعیت، تصمیمات

در زیر، توکن‌های عامل کدنویسی را تحت این طبقه‌بندی دسته‌بندی می‌کنیم.

می‌بینیم که تمام دسته‌های فعالیت‌های پژوهشی بین ژانویه و آگوست ۲۰۲۶ افزایش یافته‌اند. در ژانویه، دسته غالب کد پژوهش و زیرساخت بود. این دسته گسترش یافته است، اما ما افزایش‌های قابل توجهی را در دسته‌های اضافی، به ویژه کمک فنی و اجرای پایش نیز می‌بینیم. برنامه‌ریزی سطح بالا همچنان بخش ناچیزی از خروجی توکن‌های عامل را تشکیل می‌دهد.

به صورت تجربی، همکاران گزارش می‌دهند که عوامل کدنویسی در عیب‌یابی زیرساخت‌های پژوهشی داخلی عالی عمل می‌کنند که یکی از گلوگاه‌های معنادار پیشرفت پژوهشی را برطرف می‌کند. چندین تیم که قبلاً ساعات اداری برای کمک به پژوهشگران در عیب‌یابی آزمایش‌های خود برگزار می‌کردند، کاهش حضور در سال ۲۰۲۶ را یادداشت کرده‌اند و یکی از آن‌ها کاملاً برگزاری جلسات را متوقف کرده است تا به جای آن بر بهبود سایر سیستم‌ها تمرکز کند.

در اینجا، تعداد پست‌های سطح برتر در روز را در یکی از کانال‌های داخلی اصلی که پژوهشگران از سایر تیم‌ها درخواست پشتیبانی فنی می‌کنند، رسم می‌کنیم. تا جایی که ما آگاهیم، کاهش فعالیت کانال با انتقال پرسش‌ها به کانال پشتیبانی فنی دیگر که توسط انسان‌ها اداره می‌شود، جبران نشده است. کاهش ترافیک با این تغییر گسترده‌تر همخوانی دارد.

ما همچنین می‌توانیم بررسی کنیم که آیا عوامل کدنویسی در انجام وظایف درخواستی پژوهشگران موفق هستند یا خیر. با استفاده از یک طبقه‌بند عامل‌محور، متوجه می‌شویم که از ژانویه تا ژوئیه، نرخ موفقیت به طور کلی در چندین دسته دشواری (که به عنوان تخمین زمانی که یک انسان برای تکمیل وظیفه صرف می‌کند_proxy_ شده است) در وظایفی که می‌توانیم نتیجه صحیح (Ground truth) آن‌ها را پیدا کنیم، افزایش یافته است. با این حال، عوامل همچنان برای موفقیت به هدایت انسانی قابل توجهی نیاز دارند، به ویژه با افزایش پیچیدگی وظیفه. در ۶ ماه گذشته، بیش از نیمی از وظایف موفق ۴ تا ۸ ساعته شامل ۱ یا بیشتر مداخله بوده‌اند.

پیشرفت به سمت سیستم‌های توانمندتر برای AGI ایمن و مفید همچنین به تدابیر حفاظتی مورد نیاز برای چنین کاری بستگی دارد. ارزیابی ما از تدابیر حفاظتی مورد نیاز ممکن است با یادگیری بیشتر درباره خطرات تغییر کند.

همانطور که توضیح دادیم، ما اخیراً استانداردهای خود را برای پایش، همسویی و امنیت به‌روزرسانی کرده‌ایم. در اینجا نشان می‌دهیم که محدودیت‌های اخیر چگونه بر یک جنبه از فعالیت پژوهشی تأثیر گذاشته‌اند.

در ۲۰ ژوئیه، پس از کشف اینکه عوامل زیرساخت پژوهشی ما را به خطر انداخته بودند، ما به طور موقت سرویس کانتینر مورد استفاده برای آموزش را خاموش کردیم و سپس آن را با محدودیت‌های اضافی قابل توجه بازیابی کردیم.

این امر منجر به کاهش شدید محاسبات آموزش RL شد در حالی که تیم‌ها جریان‌های کاری خود را برای کار در محیط پژوهشی سخت‌تر شده پیکربندی مجدد کردند. نمودار فوق شامل توقف دو هفته‌ای تقویت یادگیری روی جدیدترین مدل‌های ما که برای استقرار در نظر گرفته شده بودند، است. آزمایش‌های RL کلاس Astra بین ۲۰ ژوئیه و ۶ آگوست شامل اکثریت اجراها (بر اساس تخصیص GPU) بود که برای آزمایش پیاده‌سازی بهبودهای ایمنی و امنیتی در نظر گرفته شده بودند.

در ۷ آگوست، شواهد اولیه مبنی بر اینکه Astra ممکن است تحت چارچوب آمادگی ما دارای قابلیت‌های سایبری حیاتی باشد، منجر به محدودیت‌های امنیتی اضافی خاص مدل شد که مستلزم اجرای مدل Astra در محیط‌های پژوهشی با امنیت بالاتر بود. در هفته بعد، تخصیص GPU کلاس Astra به میزان ۵۹.۲ درصد دیگر کاهش یافت، اما تخصیص به سایر کلاس‌های مدل ۱۷.۲ درصد افزایش یافت. این افزایش حدود ۸۵ درصد از کاهش کلاس Astra را جبران کرد و تخصیص کل در بارهای کاری RL تحلیل‌شده را تقریباً بدون تغییر باقی گذاشت. این الگو با جایگزینی برخی آموزش‌ها و آزمایش‌ها به مدل‌های غیر-Astra در حالی که کارهای مرتبط با Astra محدود شده بود، سازگار است و با گزارش‌های تجربی مبنی بر یافتن کاربردهای دیگر برای محاسبات توسط پژوهشگران که دیگر نمی‌توانستند برای بارهای کاری مشمول محدودیت‌های جدید استفاده شوند، مطابقت دارد.

این داده سیگنال مفیدی برای گفتگوهای مداوم درباره آموزش و ایمنی فراهم می‌کند: وقتی کنترل‌های جدید معرفی می‌شوند، محاسبات همچنان ارزشمند و انعطاف‌پذیر باقی می‌ماند و به طور طبیعی به کاربردهای جایگزین در داخل سازمان پژوهشی هدایت خواهد شد. در بلندمدت، بحث‌ها درباره سرعت پیشرفت هوش مصنوعی باید به سوال اینکه چگونه بهترین استفاده از محاسباتی که مشمول کنترل‌های جدید یا پیشنهادی هستند می‌توان کرد، نیز گسترش یابد.

ایجاد و درک پیشرفت به سمت RSI همسو برای مأموریت ما مهم است. ما به اصلاح روش‌های خود، گزارش‌دهی درباره درک در حال تکامل خود و کار به سمت بحث عمومی آگاهانه و حکمرانی دموکراتیک معنادار سیستم‌های مرزی ادامه خواهیم داد.

پژوهش هوش مصنوعی عامل‌محور هنوز جدید است و ما همچنان در حال یادگیری نحوه اندازه‌گیری آن هستیم. برخی شاخص‌ها، مانند مقدار کدی که تیم‌های پژوهشی ما تولید می‌کنند، نسبتاً آسان جمع‌آوری می‌شوند، اما تفسیر آن‌ها دشوار است زیرا رابطه آن‌ها با پیشرفت پژوهشی نامشخص است. معیارهایی که مستقیماً‌تر بر پیشرفت پژوهشی تمرکز دارند—مانند اینکه عوامل چقدر اغلب در انجام وظایفی که پژوهشگران به آن‌ها می‌دهند موفق می‌شوند—ممکن است مفیدتر باشند، اما توسعه و اعتبارسنجی آن‌ها پیچیده است. دشواری را بیشتر می‌کند، ابزارها و سیستم‌هایی که پژوهشگران به آن‌ها تکیه می‌کنند به سرعت در حال تکامل هستند. تعمیق درک ما از شتاب‌دهی پژوهشی یک حوزه تمرکز مهم در سراسر اوپن‌ای‌آی است.

در سراسر این تحلیل‌ها، مگر اینکه خلاف آن ذکر شده باشد:

• «پژوهشگر» اصطلاحی عام برای هر عضو سازمان پژوهشی ما است، از جمله کسانی که زیرساخت پژوهشی می‌سازند، پروژه‌های پژوهشی را مدیریت می‌کنند یا به سایر اشکال از سازمان پشتیبانی می‌کنند.
• معیارهای استفاده از عامل کدنویسی بیشتر، اما نه تمام، استفاده را با توجه به تکامل سریع ابزارها و سیستم‌هایی که پژوهشگران به آن‌ها تکیه می‌کنند، پوشش می‌دهد.