وقتی مدلهای یادگیری عمیق در سناریوهای پرریسک به کار گرفته میشوند، پژوهشگران میخواهند بدانند چگونه کار میکنند. امروزه، این امر مستلزم رمزگشایی یک شبکه بسیار پیچیده از گرههای پردازش داخلی است تا مشخص شود مدل چه چیزی را میداند و احتمالاً در عمل چگونه رفتار خواهد کرد.
جیکوب آندریاس ترجیح میدهد مدلها خودشان را توضیح دهند.
این استاد انجمنی تازه منصوب شده، تکنیکهایی را توسعه میدهد که به مدلهای هوش مصنوعی امکان میدهد آنچه را از دادههای آموزشی خود آموختهاند، به زبانی قابل فهم برای انسان، به دقت بیان کنند.
«به جای اینکه مجبور باشیم از تمام این ابزارهای خارجی برای تلاش جهت درک آنچه زیر پوست رخ میدهد استفاده کنیم، شاید بتوانیم مدلها را طوری آموزش دهیم که درباره خودشان به شکلی دقیق صحبت کنند»، میگوید آندریاس، استاد انجمنی در گروه مهندسی برق و علوم رایانه (EECS) و عضو آزمایشگاه علوم رایانه و هوش مصنوعی (CSAIL).
با مطالعه چگونگی درک زبان توسط ماشینها، آندریاس و گروه او به سوی ساخت سیستمهای هوشمندی حرکت میکنند که میتوانند از راهنمایی انسان درباره جهان بیاموزند و به طور مؤثر با همکاران انسانی ارتباط برقرار کنند. آنها روشهایی را توسعه میدهند که فرآیند آموزش را طبیعیتر و کارآمدتر کند، تا مدلهای هوش مصنوعی به شیوهای شبیه به یادگیری انسان بیاموزند.
در نهایت، او و گروهش میخواهند به مردم کمک کنند تا مدلهای یادگیری عمیق دقیقتر و مقاومتری را طراحی کنند که برای کاربرد مورد نظرشان مناسبتر باشند.
«ما قبلاً سیستمها را فقط با نگاه کردن به پارامترهایشان و تشخیص اینکه آیا معنادار هستند یا نه، دیباگ (رفع اشکال) میکردیم. اکنون، به «ابزارهای ذهنخوانی» نیاز داریم که بتوانند این محاسبات عصبی واقعاً پیچیده را بگیرند و برای ما ترجمه کنند، زیرا این به زبانی نیست که ما به عنوان انسان بلد باشیم»، او اظهار داشت.
عشق به زبان
شیفتگی آندریاس به زبان در سنین پایین شکوفا شد. هنگامی که کودک بود و در منطقه خلیج سانفرانسیسکو بزرگ میشد، کتابهای هرچه به دستش میرسید را با ولع میخواند.
یکی از آن کتابها که توسط دوست خانوادهاش به او منتقل شده بود، صحنهای کلیدی داشت که شخصیت اصلی برای نجات روز، وارد یک سیستم رایانهای هک میشد.
این موضوع علاقه او را به رایانهها برانگیخت. چند سال بعد، پدرش یک موتور ساده BASIC را به خانه آورد که آندریاس میتوانست روی رایانه خانگیشان اجرا کند، و او شروع به غرق شدن در دنیای برنامهنویسی رایانه کرد.
آندریاس در دوران کارشناسی در دانشگاه کلمبیا رشته علوم رایانه را انتخاب کرد، اما مطمئن نبود که میخواهد شغلی به عنوان پژوهشگر، مهندس نرمافزار یا در یک استارتاپ دنبال کند.
دوستانش در پروژههای پژوهشی در آزمایشگاههای اساتید ثبت نام کردند، بنابراین آندریاس فکر کرد او هم امتحان کند.
«من فقط به همه کسانی که در گروه علوم رایانه بودند و روی هر چیزی مرتبط با هوش مصنوعی کار میکردند ایمیل زدم، و اساتید پردازش زبان طبیعی اولین نفراتی بودند که پاسخ دادند. اینگونه شد که من به حوزهای که اکنون در آن هستم راه یافتم»، او گفت.
آندریاس در آزمایشگاه مایکل کالینز، استاد علوم رایانه ویکرام اس. پاندیت در دانشگاه کلمبیا، پایاننامه کارشناسی خود را درباره ترجمه ماشینی تکمیل کرد. پروژه او شامل تطبیق تکنیکهای آماری موجود برای نمایش معنای زبان به سیستمهای هوش مصنوعی قدرتمندتر بود که میتوانستند قطعات متن را ترجمه کنند.
«همیشه احساس میکردم این سؤالات عمیقتر درباره نحوه عملکرد تفکر یا چگونگی مدلسازی جهان، در مسائل پردازش زبان بیشتر از سایر وظایفی که افراد هوش مصنوعی در آن زمان روی آنها کار میکردند، نزدیک به سطح بودند»، او به یاد آورد.
تغییر بنیادین
او میخواست به کاوش سؤالات عمیق ادامه دهد، بنابراین آندریاس برای دنبال کردن شغل پژوهشگر دانشگاهی در تحصیلات تکمیلی دانشگاه کالیفرنیا، برکلی ثبت نام کرد.
قبل از شروع مطالعات دکتری، او یک سال را صرف گرفتن مدرک کارشناسی ارشد در دانشگاه کمبریج در انگلستان کرد. در آن محیط تاریخی، او الهام گرفت تا ماهیت یادگیری زبان را در حالی که روی مسائل ترجمه محاسباتی کار میکرد، تأمل کند.
آن مطالعات پژوهش او را تغذیه کرد وقتی که به آزمایشگاه دن کلین، استاد علوم رایانه در برکلی پیوست.
آندریاس مطالعات خود را در زمانی آغاز کرد که شبکههای عصبی در حال اوج گرفتن بودند. حوزه پردازش زبان طبیعی در حال انجام یک تغییر بنیادین از روشهای آماری به این دنیای جدید یادگیری عمیق بود.
روشهای آماری از فرمولهای ریاضی شفاف برای تحلیل متن استفاده میکنند، در حالی که تکنیکهای یادگیری عمیق از الگوریتمهای غیرشفاف برای یادگیری خودکار معانی پیچیده از مقادیر عظیم داده متنی استفاده میکنند.
«خنده دار بود که در آنجا باشم وقتی این گذار را به جعبه ابزار مدرن انجام دادیم، و یاد گرفتن و اختراع همه آن چیزها وقتی هنوز جدید بودند»، آندریاس گفت.
او شروع به همکاری با دانشمندان در آزمایشگاههای بینایی کامپیوتری کرد تا به سؤالات فزاینده پیچیده درباره یادگیری زبان بپردازند. آنها با هم سیستمهای هوش مصنوعی طراحی کردند که در تولید زبان طبیعی عالی بودند، زیرا به آن سیستمها «دیدن» و درک جهان اطرافشان را آموزش میدادند.
«این همه فوق العاده هیجان انگیز بود چون واقعاً مجموعه ابزاری مشترکی برای کار با دادههای زبانی و بینایی وجود نداشت. سپس، ناگهان، شبکههای عصبی این زبان مشترک را به ما دادند»، او به یاد آورد.
او پروژه پایاننامهای را درباره استفاده از شبکههای ماژول عصبی تکمیل کرد، که قطعات کوچکی از شبکههای عصبی هستند که وظایف خاصی مانند مکانیابی اشیاء یا استدلال منطقی را در یک سیستم هوش مصنوعی بزرگتر انجام میدهند. اما پروژههای حدسیتر که او در کنار پایاننامهاش انجام داد، مانند تفسیرپذیری و ایجاد توصیفات زبان طبیعی از حالتهای داخلی یک مدل هوش مصنوعی، تمرکز گروه او در MIT را هدایت خواهند کرد.
تمرکز اعضای هیئت علمی
پس از گذراندن یک سال در استارتاپ Semantic Machines (که از آزمایشگاه او در برکلی جدا شده بود)، آندریاس در سال ۲۰۱۹ به هیئت علمی MIT پیوست.
«احساس کردم این فرصت فوق العادهای است که در سرزمین مادر پژوهش هوش مصنوعی باشم و با همه این افراد برجسته و باتجربه همکاری کنم، اما همچنین کاری جدید انجام دهم و بفهمم عصر مدرن یادگیری ماشین چگونه خواهد بود»، او گفت.
گروه او بر دو حوزه اصلی تمرکز دارد. اول، آنها در حال مطالعه علم مدلهای زبانی بزرگ هستند تا الگوریتمهایی را که این مدلها هنگام یادگیری و پردازش اطلاعات به کار میگیرند، درک کنند.
ابزارهایی که آنها توسعه میدهند به دانشمندان و پژوهشگران کمک میکنند تا بهتر پیشبینی کنند یک مدل آموزش دیده چگونه در دنیای واقعی رفتار خواهد کرد. برای مثال، یکی از خانواده تکنیکهایی که آنها توسعه دادند، مدلهای زبانی بزرگ را آموزش میدهد تا آنچه در داخل شبکههای عصبی دیگر رخ میدهد را به زبانی که انسان میفهمد توضیح دهند.
این تکنیکها میتوانند یک توصیف زبان طبیعی را به هر گره پردازش اطلاعات در یک شبکه عصبی عظیم اختصاص دهند. برای مثال، یکی از چنین توصیفهایی ممکن است نمایانگر یک گره فردی باشد که «لکههای چمن نزدیک حیوانات» را در تصاویر ورودی شناسایی میکند.
«آن کار به عنوان نقطه پرش برای دستهای از سؤالات سطح بالاتر که درباره چگونگی نمایش معنا توسط این مدلها میپرسیم، عمل میکند»، او گفت.
از طرف دیگر، تیم او الگوریتمهای جدیدی برای آموزش مدلهای یادگیری ماشین و برای پیشبینی چگونگی تأثیر مجموعه دادهها یا نمونههای خاص بر جنبههای مختلف رفتار مدل طراحی میکند.
«ما نظریه علمی خوبی از آنچه اتفاق خواهد افتاد وقتی مدلی را روی یک مجموعه داده خاص آموزش میدهیم، نداریم. این یک چالش بزرگ برای این حوزه در حال حاضر است»، او گفت.
محیط در حال تغییر
سرعت پیشرفت هوش مصنوعی یکی از بزرگترین چالشهایی است که آزمایشگاه او با آن روبرو است. به گفته آندریاس، این حوزه به نظر میرسد هر سه تا پنج سال کاملاً تغییر میکند، که او را مجبور میکند چابک بماند و آماده یادگیری چیزهای جدید باشد.
همین دوراهی در دورههای 6.461 و 6.861 (پردازش زبان طبیعی کارشناسی و کارشناسی ارشد) که آندریاس در تدریس آنها مشارکت دارد، نیز وجود دارد. او و همکارانش باید هر سال دوره را بازطراحی کنند تا با جدیدترین تحولات هماهنگ بمانند.
آموزش بخشهای فنی یادگیری ماشین در دورهای که هر تکلیف میتواند به جای یک شاگرد انسانی توسط یک مدل زبانی بزرگ انجام شود، نیز چالش برانگیز است.
«من سعی میکنم به دانشجویان القا کنم که داشتن پایهای واقعاً عمیق در نحوه عملکرد همه این فناوریها زیر پوست، تنها راهی است که آنها را درک خواهند کرد و در دنیایی که همه به یک عامل کدنویسی دسترسی دارند، آنها را متمایز خواهد کرد»، او گفت.
با تغییرات زیاد، پیشبینی اینکه این حوزه به کجا میرود دشوار است، آندریاس میگوید. او پیشبینی میکند که کار گروه او بر تفسیرپذیری برای ایمنسازی سیستمهای پیشرفته مانند عوامل هوش مصنوعی برای استقرار در موقعیتهای پرریسک حتی مهمتر خواهد شد.
این موضوع به ویژه درست خواهد بود زیرا پژوهشگران مدلهای یادگیری عمیقی را طراحی میکنند که میتوانند در کشفیات علمی کمک کنند. این مدلها روی خزانههای داده خام از آزمایشگاههای پژوهشی آموزش خواهند دید که ممکن است هنوز توسط دانشمندان خوب درک نشده باشند.
«کشف چگونگی امکان دادن به این مدلها برای لفظی کردن همه این دانش پنهان که درباره چیزهایی که مردم هرگز به صراحت درباره آنها ننوشتهاند دارند، یک چالش و فرصت بزرگ برای افرادی خواهد بود که در یادگیری ماشین کار میکنند»، او گفت.
علاوه بر پرداختن به چالشها در آزمایشگاه، آندریاس از فشار آوردن به خودش به عنوان کوهنورد و طبیعتگرد لذت میبرد. او از دوران کودکیاش در کالیفرنیا عاشق وقت گذراندن در فضای باز بوده و حداقل یک یا دو سفر طبیعتگردی در هر تابستان انجام میدهد.
او و یک همکار در گروه ریاضیات در حال طی کردن تمام قلههای بالای ۴۰۰۰ فوت در کوههای سفید نیوهمپشایر هستند و پیشرفت آهسته اما پیوستهای دارند.
و حالا که او tenure (استادی دائمی) کسب کرده است، آندریاس مشتاق است به یک سرگرمی قدیمی بازگردد — خواندن در یک کر chamber (کر کوچک). او همیشه از موسیقی لذت برده و در دوران حضورش در دانشگاه کمبریج شیفته کرهای کلیسا و زنگ نوازی شده است.