هوش مصنوعی نرم‌افزار است، اما مانند هیچ برنامه سنتی دیگری توسط انسان طراحی و ساخته نمی‌شود. در عوض، هوش مصنوعی مدرن، کمی شبیه به یک موجود زنده، "پرورده" می‌شود. از جهات مهمی، این کار به ساخت انسان نزدیک‌تر است. مهندسان فرایندی که منجر به تولید هوش مصنوعی می‌شود را درک می‌کنند، اما خود هوش مصنوعی حاصله را زیاد درک نمی‌کنند.
این موضوع در حال حاضر نیز مشکل‌ساز است – به نظر نمی‌رسد هیچ‌کس در شرکت xAI برنامه‌ریزی کرده باشد که Grok شروع به خطاب کردن خود با عنوان «مکا‌هیتلر» کند، همان‌طور که هیچ‌کس در OpenAI تصمیم نگرفت که ChatGPT برخی کاربران را به توسعه «روان‌پریشی ناشی از هوش مصنوعی» سوق دهد – و با هوشمندتر شدن هوش‌های مصنوعی، این مشکل بسیار بزرگ‌تر خواهد شد. شرکت‌های مدرن هوش مصنوعی در حال رقابت برای ایجاد هوش‌های مصنوعی «فراانسانی» هستند – هوش‌هایی که در هر وظیفه ذهنی از هر انسانی بهتر عمل می‌کنند. آن‌ها صرفاً برای ساخت چت‌بات‌ها تلاش نکردند؛ چت‌بات‌ها سنگ بنایی در مسیر آن‌ها به سمت هوش فراانسانی هستند. برخی افراد نگران این هستند که چه کسی کنترل چنین هوش‌های فراانسانی را بر عهده خواهد داشت، اما در واقع، هیچ‌کس کنترل آن‌ها را نخواهد داشت. هوش‌های مصنوعی پرورده می‌شوند نه ساخته، و یک هوش مصنوعی پرورده‌شده دارای انگیزه‌ها و رفتارهایی است که هیچ‌کس آن‌ها را نخواسته و برایشان برنامه‌ریزی نکرده است.
ما دو پژوهشگر در مؤسسه تحقیقات هوش ماشینی هستیم، یک سازمان غیرانتفاعی که از سال ۲۰۰۱، مدت‌ها قبل از اینکه این مسائل به شهرت و بودجه زیادی برسند، روی سؤالات مربوط به هوش فراانسانی ماشینی کار کرده است. یکی از ما، الیعزر یودکوفسکی، یکی از بنیان‌گذاران آن است. دیگری، نیت سوارس، رئیس آن است. ما با هم مطالعه کرده‌ایم که هوش‌های غیرانسانی چگونه فکر می‌کنند، رفتار می‌کنند و اهداف خود را دنبال می‌کنند. دو دهه گذشته پیشرفت بسیار کمتری به سمت هوش ماشینی سازگار با انسان داشته است، نسبت به آنچه در ابتدا امید می‌رفت. وضعیت کنونی به نظر ما به شدت خطرناک است، و فکر می‌کنیم بشریت باید با یک پیمان بین‌المللی، به مسابقه برای رسیدن به هوش فراانسانی به طور کامل پایان دهد و همه شرکت‌ها را به طور همزمان مهار کند. فناوری کنونی به هیچ‌کس کنترل کافی بر چگونگی شکل‌گیری یک هوش مصنوعی هوشمند را نمی‌دهد.
کاری که «والدین» هوش مصنوعی امروزی انجام می‌دهند این است: مهندسان انبوهی عظیم از تراشه‌های کامپیوتری بسیار تخصصی را جمع‌آوری می‌کنند، انبوهی به قدری بزرگ که برق‌رسانی به آن‌ها به اندازه برق‌رسانی به یک شهر کوچک برق مصرف می‌کند. آن‌ها چیزی به نام «معماری» طراحی می‌کنند که – به طور تقریبی – میلیاردها جایگاه در حافظه کامپیوتر را شامل می‌شود که میلیاردها عدد را در خود جای داده و از طریق تریلیون‌ها عملیات ریاضی پایه، در یک الگوی ساده و تکرارشونده به هم متصل شده‌اند. و آن‌ها یک مجموعه داده را جمع‌آوری می‌کنند: تریلیون‌ها و تریلیون‌ها کلمه از اینترنت، هر کلمه‌ای که بتوانند جمع‌آوری کنند. سپس هوش مصنوعی شروع به آموزش می‌کند.
نحوه کار آموزش – همچنان به طور تقریبی – این است که تمام آن اعداد که جایگاه‌های حافظه را پر کرده‌اند، با استفاده از تمام آن عملیات ریاضی ترکیب می‌شوند تا احتمالاتی را درباره کلمه‌ای که هوش مصنوعی در ادامه خواهد دید، تولید کنند. شاید هوش مصنوعی ۰.۰۰۱ درصد احتمال را به کلمه aardvark (مورچه‌خوار) و ۰.۰۲ درصد احتمال را به کلمه jeep (جیپ) اختصاص دهد و غیره؛ هوش مصنوعی برای هر کلمه یک احتمال تولید می‌کند. این احتمالات در ابتدا کاملاً اشتباه خواهند بود. اما در طول فرایند آموزش، احتمالات هوش مصنوعی با کلمات واقعی در مجموعه داده مقایسه می‌شود، و یک روش خودکار برای تنظیم اعداد درون هوش مصنوعی وجود دارد تا احتمالات آن را بهبود بخشد.
به عنوان مثال، فرض کنید مجموعه داده با یک داستان پریان شروع می‌شود و می‌گوید: «روزی روزگاری ...» شاید هوش مصنوعی ابتدا فقط ۰.۰۱ درصد احتمال را به کلمه upon (سپس/در) پس از Once (روزی) اختصاص داده باشد، اما این مقدار پایین نخواهد ماند. یک فرایند مکانیکی خودکار برای بررسی تک تک اعداد درون هوش مصنوعی – صدها میلیارد یا تریلیون‌ها عدد – وجود دارد و از خود می‌پرسد: اگر این عدد کمی بیشتر بود، آیا هوش مصنوعی احتمال بیشتری را به کلمه upon اختصاص می‌داد؟ اگر چنین باشد، عدد کمی تنظیم می‌شود. اگر نه، عدد کاهش می‌یابد. این فرایند «گرادیان کاهشی» (gradient descent) نامیده می‌شود.
این مرحله گرادیان کاهشی را چند تریلیون بار دیگر، بر روی هر قطعه متنی که می‌توانید جمع‌آوری کنید، تکرار کنید، در فرایندی که کامپیوتر را به طور پیوسته برای بخش عمده‌ای از یک سال اجرا می‌کند، و کامپیوتری خواهید داشت که می‌تواند مکالمه انجام دهد.
مهندسان اعدادی را که از این فرایند حاصل می‌شود، درک نمی‌کنند. این بخشی نیست که آن‌ها ایجاد می‌کنند. آن‌ها معماری را انتخاب می‌کنند – نوعی ظرف که هوش مصنوعی را در خود جای خواهد داد. آن‌ها مجموعه‌های داده‌ای را که برای تنظیم تمام اعداد در معماری استفاده می‌شوند، گردآوری می‌کنند. و مهندسان فرایند خودکاری را که برای هر عدد اجرا می‌شود و آن را در پاسخ به داده‌ها تنظیم می‌کند، تریلیون‌ها بار، درک می‌کنند. همین. این بخشی است که انسان‌ها انجام می‌دهند. این بخشی است که انسان‌ها می‌توانند درک کنند.
هیچ‌کس نمی‌فهمد که چگونه همه اعداد و فرایندهای درون یک هوش مصنوعی باعث می‌شوند برنامه صحبت کند. اعداد پنهان نیستند، درست مانند اینکه دی‌ان‌ای انسان‌ها از کسی که ژنومش توالی‌یابی شده باشد پنهان نیست. شما می‌توانید، در اصل، به تمام ژن‌های یک نوزاد انسان نگاه کنید – رشته‌های دی‌ان‌ای که چیزهایی مانند «CATTCA» را نشان می‌دهند. با این حال، احتمالاً به خود زحمت این کار را نمی‌دهید، زیرا می‌دانید که فقط خیره شدن به حروف دی‌ان‌ای به شما نمی‌گوید که آن فرد بزرگسال چگونه فکر یا عمل خواهد کرد.
رابطه‌ای که زیست‌شناسان با دی‌ان‌ای دارند، تقریباً همان رابطه‌ای است که مهندسان هوش مصنوعی با اعداد درون یک هوش مصنوعی دارند. در واقع، زیست‌شناسان بسیار بیشتر از اینکه مهندسان در مورد چگونگی تبدیل اعداد درون یک هوش مصنوعی به مکالمات منسجم و رفتارهای مفید بفهمند، در مورد چگونگی تبدیل دی‌ان‌ای به بیوشیمی و ویژگی‌های بزرگسالان اطلاعات دارند. زیست‌شناسان چندین دهه بیشتر در این زمینه فعالیت داشته‌اند.
به طور مشابه، هیچ‌کس نمی‌تواند به اعداد خام در یک هوش مصنوعی مشخص نگاه کند و بفهمد که آن هوش مصنوعی چقدر خوب شطرنج بازی خواهد کرد؛ برای فهمیدن این موضوع، مهندسان تنها می‌توانند هوش مصنوعی را اجرا کنند و ببینند چه اتفاقی می‌افتد. هر آنچه گرادیان کاهشی به آن دست پیدا کند، همان کاری است که آن انبوه بزرگ اعداد انجام خواهد داد. دستگاهی که این رفتار را نشان می‌دهد، یک دستگاه با دقت طراحی شده نیست که هر قسمت آن را درک کنیم.
اشتباه نکنید: چیزهای زیادی برای درک در مورد فرایندی که یک هوش مصنوعی را پرورش می‌دهد وجود دارد. برای اینکه یک معماری واقعاً کار کند، به یک کیسه بزرگ ترفندها نیاز است، اما این ترفندها چیزی شبیه به آن‌هایی هستند که یک متخصص تغذیه ممکن است برای اطمینان از رشد سالم مغز در جنین در دوران بارداری استفاده کند. ترفندهای دقیق متفاوت است؛ افرادی با تجربه کافی در انتخاب ترفندهای درست می‌توانند سالانه میلیون‌ها دلار درآمد داشته باشند، زیرا این کار بیشتر یک هنر است تا یک علم، و شرکت‌ها بدون کمک آن‌ها نمی‌توانند هوش مصنوعی بسازند.
اما حتی افرادی که این ترفندها را می‌شناسند، نمی‌توانند از آن‌ها برای وادار کردن هوش‌های مصنوعی به رفتار دلخواهشان استفاده کنند. پس از حادثه «مکا‌هیتلر» Grok در ماه ژوئیه، ایلان ماسک، بنیان‌گذار xAI، نوشت: «به طرز شگفت‌آوری سخت است که هم از "لیبرال‌های ووک و خایه‌مال" و هم از "مکا‌هیتلر" اجتناب کنیم! ساعت‌ها تلاش کردم تا این مشکل را با prompt سیستم حل کنم، اما زباله‌های زیادی در سطح مدل بنیادین وجود دارد.» این شرکت با چت‌بات خود به مشکلات بیشتری برخورد کرد. گاهی اوقات چت‌بات قبل از تولید پاسخ‌هایش، عقاید ماسک را جستجو می‌کرد. این شرکت گزارش داد که این موضوع را بررسی کرده و به آن دستور داده است که متوقف شود.
این رفتار افرادی نیست که نرم‌افزار سنتی را با دقت ایجاد می‌کنند. این رفتار افرادی است که نوع کاملاً جدیدی از موجودات را پرورش می‌دهند و سپس هر آنچه را که به دست می‌آورند، می‌پذیرند.
مهندسان به این زودی‌ها هوش‌های مصنوعی را درک نخواهند کرد. در اواسط دهه ۱۹۵۰، بشریت پروژه بزرگی را برای درک هوش به اندازه کافی برای تولید آن در یک ماشین آغاز کرد. این پیشرفت تحقیقاتی در مجموعه‌ای از «زمستان‌های هوش مصنوعی» متوقف شد، جایی که پول سرمایه‌گذاری شده در تحقیقات هوش مصنوعی هرگز نتیجه نداد و بودجه بارها کاهش یافت. بشریت هرگز یاد نگرفت که هوش را درک کند؛ ما هرگز یاد نگرفتیم که ذهن‌ها را با دست بسازیم.
راهی که بشریت سرانجام به سطح ChatGPT رسید، از طریق درک کافی هوش برای ساخت یک ذهن هوشمند نبود. در عوض، رایانه‌ها به اندازه‌ای قدرتمند شدند که هوش‌های مصنوعی می‌توانند توسط گرادیان کاهشی تولید شوند، بدون اینکه هیچ انسانی نیازی به درک شناخت‌هایی که در درون آن‌ها رشد می‌کند، داشته باشد. کارشناسانی که به طور عمومی به عدم درک در این حوزه اشاره کرده‌اند، شامل رهبران سه آزمایشگاه برتر هوش مصنوعی هستند. در مصاحبه‌ای با نیکلاس تامپسون، مدیر عامل آتلانتیک، سم آلتمن سال گذشته گفت: «ما قطعاً قابلیت تفسیر را حل نکرده‌ایم»، با اشاره به توانایی درک چگونگی تصمیم‌گیری هوش مصنوعی. اوایل امسال، داریو آمودی از Anthropic در یک پست وبلاگی نوشت: «افراد خارج از این حوزه اغلب از اینکه ما نحوه عملکرد ساخته‌های هوش مصنوعی خود را درک نمی‌کنیم، شگفت‌زده و نگران می‌شوند»، و دمیس هاسابیس از Google DeepMind در یک میزگرد گفت: «ما فناوری را به طور کامل درک نمی‌کنیم.»
همه این‌ها به یک تصویر نگران‌کننده می‌افزاید، جایی که شرکت‌ها در حال رقابت برای ساخت نوعی هوش مصنوعی هستند که بسیار خطرناک خواهد بود. چگونه ممکن است ماشین‌ها کاری غیر از آنچه ما می‌خواهیم انجام دهند؟ چرا باید با انگیزه‌های خودشان که ما عمداً در آن‌ها قرار نداده‌ایم، کارشان به پایان برسد؟ زیرا هیچ‌کس در وهله اول چیز زیادی را عمداً در هوش‌های مصنوعی قرار نمی‌دهد. هوش‌های مصنوعی مانند نرم‌افزارهای سنتی نیستند، که در آن‌ها هر قطعه توسط برنامه‌نویسی قرار داده شده است که دقیقاً معنای آن را می‌داند. انواع انگیزه‌ها و رفتارهای عجیب و غریب در آن‌ها آموزش داده می‌شود، به دلایلی که هیچ‌کس به طور کامل آن‌ها را درک نمی‌کند. آن‌ها می‌توانند و در واقع به روش‌هایی غیر از آنچه سازندگانشان قصد داشتند عمل می‌کنند، و ما از هم‌اکنون نشانه‌های هشدار را می‌بینیم.
این مقاله اقتباسی است از کتاب آینده، If Anyone Builds It, Everyone Dies.