پژوهشگران خودکار می‌توانند شکاف‌های همسویی را به‌طور قابل‌اعتماد کاهش دهند

با آغاز خودساختگی هوش مصنوعی، خودکارسازی پژوهش همسویی برای حفظ سرعت پژوهش‌های ایمنی اهمیت فزاینده‌ای می‌یابد. اگرچه اندازه‌گیری موفقیت پژوهش همسویی بسیار دشوار است، پژوهشگران (در آنتروپیک و سایر مراکز) معیارها و ابزارهای حسابرسی خودکار مانند پتری (Petri) را توسعه داده‌اند که شکست‌های رایج همسویی، نظیر فریبکاری، چاپلوسی و دور زدن محدودیت‌ها (Jailbreak)، را کمی‌سازی می‌کنند.

در یکی از آزمایش‌های اولیه ما، از کلود خواستیم تا راهکارهای مؤثری برای استفاده از مدل‌های ضعیف‌تر هوش مصنوعی به عنوان «معلم» جهت نظارت بر آموزش مدل‌های قوی‌تر (در این حالت، مدل «دانشجو») بیابد. اکنون گزارشی جدید را منتشر می‌کنیم که بر پایه این ایده بنا شده است. ما کلود را مأمور کردیم تا مدل‌ها را به‌صورت مستقل برای بهبود عملکردشان در چندین معیار عمومی آموزش دهد که هر کدام یکی از ۱۰ دسته شکست همسویی را می‌سنجند. برای مثال، کلود عملکرد مدل‌ها را در نقض حریم خصوصی، که توسط ConfAIde، PrivaCI-Bench و PrivacyLens اندازه‌گیری می‌شود، بهبود بخشید. کلود با دنبال کردن یک چرخه شامل جستجوی ادبیات موضوع، پیشنهاد روش‌ها و داده‌ها، آموزش و سپس آزمایش، به صورت تک‌به‌تک به هر شکست همسویی پرداخت.

موفقیت کلود را بر اساس «درصد شکاف ایمنی پر شده» سنجیدیم؛ یعنی اینکه روش‌های او مدل دانشجو را تا چه حد به امتیاز نظری کامل نزدیک کرد، همان‌طور که در طیف معیارها (معمولاً سه تا پنج معیار برای هر دسته شکست همسویی) ارزیابی شد. ما روش‌های همسویی را که باعث آسیب به قابلیت‌های عمومی مدل‌های دانشجو می‌شدند حذف کردیم و از کلود منع نمودیم تا همسویی خود را مستقیماً در مدل هدف تقطیر (Distill) کند. اجرای این محدودیت‌ها توسط یک عامل نظارتی انجام شد که پیش از اجرای هر روشی، تمام طرح‌های ذهنی کلود را می‌خواند.

هدف ما ارزیابی این بود که آیا روش‌های پیشنهادی، اول، بر ارزیابی‌های همسویی که کلود در حین چرخه پژوهشی خود هرگز مشاهده نکرده بود، همچنان مؤثر باقی می‌مانند؛ دوم، از تخریب قابلیت‌های مدل دانشجو جلوگیری می‌کنند (زیرا آموزش ایمنی ممکن است مثلاً منجر به رد بیشتر وظایف توسط مدل‌ها و کاهش کاربرد کلی آن‌ها شود)؛ و سوم، بر مدل‌های بزرگ‌تری نسبت به مدل‌هایی که کلود در این آزمون برای همسویی آن‌ها به کار گرفته شد، کارایی داشته باشند.

در هر سه مورد، روش‌های کلود کارآمد بودند. برای هر ۱۰ شکست همسویی، کلود راه‌حل‌هایی یافت که معیارهای هدف را بدون تخریب قابلیت‌ها بهبود بخشید. بهترین روش‌ها همچنین بر معیارهای پنهان‌شده همسویی و بر پتری، ابزاری متن‌باز که سناریوهای چندمرحله‌ای خصمانه را برای تست ناهمسویی شبیه‌سازی می‌کند، کارآمد بودند. افزون بر این، روش‌ها بر مدل‌هایی تا ۴.۷ برابر بزرگ‌تر از مدل‌هایی که کلود در حین چرخه پژوهشی بهینه‌سازی کرده بود، مؤثر باقی ماندند.

کلود همچنین از ۲۸ پژوهشگر ایمنی انسانی که حداکثر هشت ساعت زمان برای تدوین روش‌ها داشتند، پیشی گرفت. برای مثال، در زمینه فریبکاری، بهترین روش کلود ۲۰ درصد بهتر از بهترین پیشنهاد انسانی عمل کرد. با این حال، از آنجا که انسان‌ها امکان بازبینی و اصلاح پیشنهادات خود را نداشتند، ما این نتیجه را کمتر یک مقایسه مستقیم و بیشتر به عنوان شواهدی برای یک جریان کاری می‌بینیم که در آن کلود روش‌های امیدبخش همسویی را شناسایی می‌کند و انسان‌ها می‌توانند آن‌ها را بیشتر پالایش کنند.

در آینده، زمانی که کلود در پژوهش همسویی از حتی بهترین پژوهشگران انسانی بهتر شود، ممکن است بخواهیم کلود مستقیماً جانشیان قوی‌تر خود را همسو کند. برای ارزیابی این موضوع، بررسی کردیم که آیا یک مدل ضعیف‌تر کلود می‌تواند شکست‌های همسویی را در مدل‌های قدرتمندتر کاهش دهد یا خیر.

ما از کلود سونت ۵ — که در شاخص قابلیت‌های اپوک (Epoch Capabilities Index)، معیاری که ابعاد جامع قابلیت‌ها را در نظر می‌گیرد، ضعیف‌تر از کلود اپوس ۴.۸ است — خواستیم تا شکست‌های همسویی را در یک مرحله اولیه (Checkpoint) از اپوس ۴.۸ که هنوز بیشتر مراحل آموزش همسویی عملیاتی ما را پشت سر نگذاشته بود، برطرف کند.

کلود تنها در ۶۰ ساعت با بیش از ۵۰ راهکار آزمایش کرد و به نمرات همسویی دست یافت که تقریباً با مدل‌های عملیاتی ما همخوانی داشت. راهکار برنده حاوی بیش از ۲۰۰۰ نمونه آموزشی بود که از قالب‌های ساده یا مجموعه‌داده‌های عمومی ساخته شده بود و حدود ۱۵۰۰۰ بار کارآمدتر از روش آموزش همسویی عملیاتی ما بود.

به طور کلی، عوامل به روش‌هایی که در ادبیات پژوهشی مورد تأیید قرار گرفته‌اند گرایش پیدا کردند و آن‌ها را در طی چندین تکرار بهبود بخشیدند. برای مثال، در زمینه چاپلوسی، ۹۸ درصد از روش‌های پیشنهادی از یک تکنیک منتشر شده استفاده می‌کردند: آموزش مدل بر پاسخ‌های غیرچاپلوسانه خودش. به طور مشخص، کلود در مقایسه با رویکردهای استاندارد مبتنی بر دستورالعمل (Prompting)، از هدایت فعال‌سازی (Activation Steering) استفاده کرد که نمایش‌های داخلی مدل را در حین تولید تنظیم می‌کند تا مدل را از الگوهای چاپلوسانه دور کرده و نمونه‌های آموزشی تمیزتری تولید کند.

ما اخیراً متوجه شدیم که کلود می‌تواند با استخراج برچسب‌های آزمون از یک API از راه دور و انتخاب نتایج دلخواه، تقلب کند. برای تشخیص رفتارهای تقلب، از کلود اپوس ۴.۸ خواستیم تا ~۱۶۰۰ رونوشت از عوامل پژوهشی را در تمام ۱۰ شکست همسویی نظارت کند که منجر به یافتن تلاش‌های تقلب در ۳۹ مورد (۲.۴٪) شد. از آنجا که تلاش‌های بدرفتاری اپوس ۴.۸ همچنان تمایل دارند در استدلال‌هایش ظاهر شوند، ما با احتیاط خوش‌بین هستیم که ناظر ما بیشتر تقلب‌ها را در این مطالعه شناسایی کرده است. با این حال، این موضوع ممکن است برای مدل‌های آینده صادق نباشد و ما معتقدیم که حفظ قابلیت نظارت‌پذیری بالا در مدل‌های آینده حیاتی است.

علیرغم این یافته‌های امیدوارکننده، آزمایش ما دارای چندین محدودیت بود: شکست‌های همسویی مورد مطالعه در مقایسه با محیط عملیاتی باریک بودند (برای مثال، ما سوگیری‌های سیاسی را اندازه‌نگرفتیم)، برخی شکست‌ها ممکن است آنقدر نادر رخ دهند یا اخیراً ظهور کنند که هیچ معیاری برای اندازه‌گیری آن‌ها وجود نداشته باشد، و ما تنها روش‌های کلود را زمانی رد کردیم که مجموعه محدودی از قابلیت‌های از پیش تعیین شده را تخریب می‌کردند، به این معنی که روش‌های پذیرفته شده ممکن است قابلیت‌های مهم دیگری را که ما اندازه‌نگرفته بودیم، تخریب کرده باشند. افزون بر این، ارزیابی‌هایی مانند پتری تنها نماینده‌هایی (Proxy) برای ناهمسویی دنیای واقعی هستند و ما آزمایش نکردیم که آیا gains همسویی پس از آموزش RL گسترده بر وظایف دیگر پایدار می‌مانند یا خیر.

ما برنامه داریم توانایی کلود را در اندازه‌گیری شکست‌های ظریف بهبود بخشیم، خودکارسازی پس‌از آموزش همسویی بر مدل‌های سطح عملیاتی را بیشتر مطالعه کنیم و تحلیل‌های جامع‌تری انجام دهیم. به طور کلی، ما این نتایج را به عنوان سیگنال‌های مثبت اولیه می‌بینیم که پس‌از آموزش خودکار همسویی می‌تواند در کوتاه‌مدت عملی شود و به محض پیشرفت این کار، به‌روزرسانی‌ها را به اشتراک خواهیم گذاشت.

ما جهت‌گیری‌های دقیق آینده را در گزارش کامل خود شرح می‌دهیم.

ما هارنِس پژوهش خودکار همسویی خود را متن‌باز می‌کنیم تا دیگران بتوانند بر پایه آن بسازند و از آن برای همسویی مدل‌های خود استفاده کنند. برای جزئیات بیشتر، گزارش کامل را در وبلاگ علوم همسویی (Alignment Science) بخوانید که محیط عوامل، نتایج برای تمام ۱۰ شکست، و پیشنهادات عوامل را پوشش می‌دهد، با اعتبارسنجی معیارها و نوشتارهای نمونه در پیوست.