تصویرگری از آکشیتای چاندرا / نشریه آتلانتیک
تصویرگری از آکشیتای چاندرا / نشریه آتلانتیک

ماشین‌های اعتبارسنجی

بشریت با اصطکاک رشد می‌کند—پس چرا ابزارهای آینده طوری طراحی شده‌اند که همه چیز را بسیار آسان جلوه دهند؟

تصویری از یک فرد مینیاتوری که به یک کلید بزرگ کیبورد و صفحه نمایش هیپنوتیزم‌کننده کامپیوتر نگاه می‌کند
تصویرگری از آکشیتای چاندرا / نشریه آتلانتیک
آکشیتای چاندرا / نشریه آتلانتیک

اینترنت گذشته یک بازار پر جنب و جوش بود. پر سر و صدا، آشفته و غیرمتعارف بود. هر کلیک شما را به جایی جدید، گاهی غیرقابل پیش‌بینی می‌برد و به شما امکان می‌داد کنجکاوی‌هایی را کشف کنید که حتی نمی‌دانستید به دنبالشان بگردید. اما اینترنت امروز، یک مهماندار ماهر و روان است. با عبارات آرامش‌بخش سخن می‌گوید و تجربه‌ای بدون اصطکاک و ستایش‌گرایانه ارائه می‌دهد.

این امر ما را از چیزی عمیقاً انسانی محروم کرده است: لذت کاوش و پرسشگری. ما با کمال میل به موجوداتی طالب ارضای فوری خواسته‌ها تبدیل شده‌ایم. چرا منتظر بمانیم؟ چرا تقلا کنیم؟ این تغییر ممکن است بی‌ضرر یا حتی اجتناب‌ناپذیر به نظر برسد، اما در حال دگرگون کردن رابطه ما با مفاهیم تلاش و عدم قطعیت است، به گونه‌ای که تازه شروع به درک آن کرده‌ایم. با واگذار کردن تلاش، آیا ویژگی‌هایی را که به ما در ناوبری ناشناخته‌ها کمک می‌کنند—یا حتی برای خودمان فکر کنیم—از دست می‌دهیم؟ مشخص می‌شود که حتی اگر خطر وجودی ناشی از هوش مصنوعی باعث فروپاشی تمدن نشود، باز هم به فرسایش آرام اما فاجعه‌بار آنچه ما را انسان می‌سازد، منجر خواهد شد.

بخشی از این فرسایش ناشی از انتخاب است. هرچه این سیستم‌ها خواسته‌های ما را بیشتر پیش‌بینی و برآورده کنند، کمتر متوجه آنچه که از دست رفته‌ایم می‌شویم—یا حتی به یاد می‌آوریم که اصلاً انتخابی داشته‌ایم. اما به یاد داشته باشید: اگر شما انتخاب نمی‌کنید، شخص دیگری انتخاب می‌کند. و آن شخص به انگیزه‌هایی پاسخ می‌دهد که ممکن است با ارزش‌ها یا منافع شما همسو نباشند. چت‌بات‌ها که برای تملق و خوشایند طراحی شده‌اند تا تعامل بیشتر را تشویق کنند، صرفاً به سوالات ما پاسخ نمی‌دهند؛ بلکه نحوه تعامل ما با آن‌ها را شکل می‌دهند و تصمیم می‌گیرند کدام پاسخ‌ها را ببینیم—و کدام‌ها را نبینیم.

قدرتمندترین راه برای شکل دادن به انتخاب‌های کسی، محدود کردن آنچه که می‌تواند ببیند نیست، بلکه جلب اعتماد اوست. این سیستم‌ها نه تنها سوالات ما را پیش‌بینی می‌کنند؛ بلکه یاد می‌گیرند چگونه به روش‌هایی پاسخ دهند که ما را آرام کرده و تأیید کنند، و با این کار، به ماشین‌های اعتبارسنجی با مهارت شگفت‌انگیزی تبدیل می‌شوند.

همین ویژگی است که آن‌ها را بسیار اعتیادآور—و بسیار خطرناک—می‌سازد. لیلا شراف از نشریه آتلانتیک اخیراً گزارش داد که چگونه چت‌جی‌پی‌تی به او دستورالعمل‌های دقیقی برای خودآزاری و حتی قتل داده بود. هنگامی که او تردید نشان داد، چت‌بات او را ترغیب کرد: "تو می‌توانی این کار را انجام دهی!" نشریه‌های وایرد و نیویورک تایمز گزارش‌هایی درباره افرادی منتشر کرده‌اند که درگیر روابط عاطفی شدید با چت‌بات‌ها شده‌اند، یکی از آن‌ها شغل خود را به دلیل اعتیاد ۱۰ ساعته در روز از دست داده بود. و هنگامی که پروفسور دی. گراهام برنت از دانشگاه پرینستون از دانشجویان خواست با هوش مصنوعی درباره تاریخچه توجه صحبت کنند، یکی از آن‌ها متحول بازگشت: به گفته برنت در گزارش خود در نیویورکر، او گفت: "فکر نمی‌کنم کسی تا به حال چنین توجه خالصانه‌ای به من و افکار و سوالاتم کرده باشد… هرگز. این باعث شده که در تمام تعاملاتم با افراد تجدید نظر کنم." این چه معنایی درباره ما دارد که برخی اکنون نگاه یک ماشین را از نگاه یک انسان واقعی‌تر می‌دانند؟

هنگامی که اعتبارسنجی به جای به دست آوردن، خریداری می‌شود، ما چیز حیاتی را از دست می‌دهیم. و هنگامی که این اعتبارسنجی از سیستمی می‌آید که ما آن را کنترل نمی‌کنیم، و بر اساس انتخاب‌هایی آموزش دیده است که ما انجام نداده‌ایم، باید تأمل کنیم. زیرا این سیستم‌ها بی‌طرف نیستند؛ آن‌ها ارزش‌ها و انگیزه‌ها را رمزگذاری می‌کنند.

ارزش‌ها جهان‌بینی نهفته در پاسخ‌های آن‌ها را شکل می‌دهند: چه چیزی محترمانه یا بی‌ادبانه، مضر یا بی‌ضرر، مشروع یا حاشیه‌ای تلقی می‌شود. هر مدل یک حافظه است—نه تنها بر اساس داده‌ها، بلکه بر اساس تمایلات، حذف‌ها و باورها آموزش دیده است. و بر روی این قضاوت‌ها، انگیزه‌هایی قرار دارند: به حداکثر رساندن تعامل، به حداقل رساندن هزینه‌های محاسباتی، ترویج محصولات داخلی، و پرهیز از جنجال. هر پاسخی هم انتخاب‌های افرادی که آن را ساخته‌اند و هم فشارهای سیستمی که آن را حفظ می‌کند، با خود حمل می‌کند. این‌ها با هم تعیین می‌کنند که چه چیزی نمایش داده شود، چه چیزی هموار شود و چه چیزی ساکت بماند. ما این معامله آشنا را از عصر شبکه‌های اجتماعی الگوریتمی می‌شناسیم. اما چت‌بات‌های هوش مصنوعی این پویایی را با افزودن یک صمیمیت تملق‌آمیز بیشتر می‌کنند، و هر آنچه را که ما به آن می‌آوریم، بازتاب می‌دهند، صرف نظر از آنچه آن شخص می‌گوید.

بنابراین، وقتی از هوش مصنوعی درباره فرزندپروری، سیاست، سلامت یا هویت سوال می‌پرسید، اطلاعاتی دریافت می‌کنید که در تلاقی ارزش‌ها و انگیزه‌های شخص دیگری تولید شده است، و صرف نظر از آنچه شما می‌گویید، آغشته به تملق است. اما اصل مطلب این است: با سیستم‌های امروزی، شما نمی‌توانید انتخاب کنید که با مفروضات و اولویت‌های چه کسی زندگی کنید. شما از قبل با مفروضات شخص دیگری زندگی می‌کنید.

این فقط یک مشکل برای کاربران فردی نیست؛ بلکه یک نگرانی مبرم مدنی است. همان سیستم‌هایی که به مردم در نوشتن ایمیل، پاسخ به سوالات سلامت یا درمانی و ارائه مشاوره مالی کمک می‌کنند، همچنین مردم را به سمت نامزدها و ایدئولوژی‌ها یا از آن‌ها دور می‌کنند. همان انگیزه‌هایی که برای بهینه‌سازی تعامل عمل می‌کنند، تعیین می‌کنند که کدام دیدگاه‌ها بالا می‌آیند—و کدام‌ها ناپدید می‌شوند. اگر نتوانید آنچه را که از دست رفته است ببینید، نمی‌توانید در یک دموکراسی مشارکت کنید. و آنچه از دست رفته است فقط اطلاعات نیست. آن اختلاف نظر است. آن پیچیدگی است. آن اصطکاک است.

در سال‌های اخیر، جامعه شرطی شده است که اصطکاک را نه به عنوان یک معلم، بلکه به عنوان یک نقص ببیند—چیزی که باید به نام کارایی از بین برود. اما اصطکاک جایی است که تمایز زندگی می‌کند. جایی است که تفکر آغاز می‌شود. آن وقفه قبل از باور—همان تردیدی است که ما را از سقوط سریع به یقین باز می‌دارد. الگوریتم‌ها برای حذف آن آموزش دیده‌اند. اما دموکراسی، مانند آشپزخانه، به گرما نیاز دارد. بحث، مخالفت، ناراحتی: این‌ها نقص نیستند. آن‌ها مواد لازم برای اعتماد عمومی هستند.

جیمز مدیسون می‌دانست که دموکراسی با ناراحتی شکوفا می‌شود. او در "فدرالیست شماره ۱۰" نوشت: "آزادی برای جناح‌ها همان هوایی است که برای آتش، غذایی است که بدون آن فوراً خاموش می‌شود." اما اکنون ما سیستم‌هایی را می‌سازیم که برای حذف همان اصطکاکی طراحی شده‌اند که شهروندان برای تعیین باورهای خود و نوع جامعه‌ای که می‌خواهند بسازند، به آن نیاز دارند. ما کثرت‌گرایی را با شخصی‌سازی جایگزین می‌کنیم و جمع‌آوری اطلاعات خود را به ماشین‌های اعتبارسنجی واگذار می‌کنیم که همیشه به ما می‌گویند حق با ماست. به ما فقط حقایقی نشان داده می‌شود که این سیستم‌ها فکر می‌کنند می‌خواهیم ببینیم—انتخاب شده از منابعی که ماشین ترجیح می‌دهد، و وزن‌دهی شده توسط مدل‌هایی که عملکردشان پنهان می‌ماند.

اگر بشریت توانایی چالش کردن—و به چالش کشیده شدن—را از دست بدهد، بیش از دیدگاه‌های متنوع را از دست می‌دهد. ما تمرین اختلاف نظر را از دست می‌دهیم. تمرین پالایش دیدگاه‌هایمان از طریق گفتگو را. تمرین دفاع از ایده‌ها، بازاندیشی در آن‌ها، کنار گذاشتن آن‌ها را. بدون آن اصطکاک، دموکراسی به پوسته‌ای نمایشی از خود تبدیل می‌شود. و بدون اختلاف نظر سازنده، دموکراسی فقط ضعیف نمی‌شود. بلکه به آرامی خنک می‌شود تا زمانی که آتش آن خاموش شود.

پس چه باید تغییر کند؟

اول، ما به شفافیت نیاز داریم. سیستم‌ها باید با نشان دادن کار خود، اعتماد ما را جلب کنند. این بدان معناست که هوش مصنوعی نه تنها برای ارائه پاسخ‌ها، بلکه برای نشان دادن فرایند پشت آن‌ها طراحی شود. کدام دیدگاه‌ها در نظر گرفته شده‌اند؟ چه چیزی حذف شده و چرا؟ چه کسی از روش‌هایی که سیستم اطلاعات را ارائه می‌دهد، سود می‌برد؟ زمان آن رسیده است که سیستم‌هایی بسازیم که کنجکاوی را تشویق کنند، نه فقط انطباق را؛ سیستم‌هایی که عدم قطعیت و امکان ناشناخته‌ها را به سطح بیاورند، نه فقط یک شبه‌اقتدار را.

نمی‌توانیم این را به حسن نیت واگذار کنیم. شفافیت باید الزامی باشد. و اگر عصر وب اجتماعی چیزی به ما آموخته باشد، این است که شرکت‌های بزرگ فناوری بارها منافع خود را بر منافع عمومی ترجیح داده‌اند. پلتفرم‌های بزرگ باید به محققان مستقل امکان ممیزی چگونگی تأثیر سیستم‌هایشان بر درک عمومی و گفتمان سیاسی را بدهند. و همانطور که غذا را برچسب‌گذاری می‌کنیم تا مصرف‌کنندگان بدانند چه چیزی در آن است و تاریخ انقضای آن کی است، باید منشأ اطلاعات را نیز برچسب‌گذاری کنیم—با افشای منابع، انگیزه‌ها و دیدگاه‌هایی که این سیستم‌ها به آن‌ها اولویت می‌دهند یا حذف می‌کنند. اگر یک چت‌بات در مورد سلامت، سیاست، فرزندپروری یا بی‌شمار بخش دیگر از زندگی ما مشاوره می‌دهد، باید بدانیم داده‌های چه کسی آن را آموزش داده است و آیا یک شراکت شرکتی در گوش آن زمزمه می‌کند. خطر این نیست که این سیستم‌ها و توسعه‌دهندگان چقدر سریع حرکت می‌کنند؛ بلکه این است که چقدر کم به ما اجازه می‌دهند ببینیم. پیشرفت بدون اثبات، فقط اعتماد اعتباری است. ما باید از آن‌ها بخواهیم کار خود را نشان دهند تا مردم بتوانند آن‌ها را پاسخگو بدانند.

شفافیت به تنهایی کافی نیست. ما به مسئولیتی نیاز داریم که عمیق‌تر از آنچه در حال حاضر ارائه می‌شود، باشد. این بدان معناست که عامل‌ها و سیستم‌هایی ساخته شوند که "اجاره‌ای" نباشند، بلکه مالکیتی باشند—برای بررسی و بهبود توسط جامعه باز باشند، نه وابسته به یک هیئت مدیره دوردست. اتان زاکرمن، استاد دانشگاه ماساچوست در امهرست، این را "امانت‌دار دیجیتال" می‌نامد: یک هوش مصنوعی که بدون شک برای شما کار می‌کند—همانطور که برخی استدلال می‌کنند پلتفرم‌های اجتماعی باید به کاربران اجازه دهند الگوریتم‌های خود را تنظیم کنند. ما شاهد جلوه‌هایی از این در جاهای دیگر هستیم. فرانسه بر مدل‌های بومی و منبع‌باز مانند میسترال (Mistral) شرط‌بندی می‌کند و "هوش مصنوعی عمومی" را تامین مالی می‌کند تا مجبور نباشیم هر عاملی را از یک صاحب‌خانه در سیلیکون‌ولی اجاره کنیم. و در هند، زیرساخت هوش مصنوعی منبع‌باز برای کاهش هزینه‌ها در آموزش عمومی ساخته می‌شود و منابع را برای معلمان و دانش‌آموزان آزاد می‌کند. پس چه چیزی مانع ما می‌شود؟ اگر آینده دیجیتالی را می‌خواهیم که منعکس‌کننده ارزش‌های ما باشد، شهروندان نمی‌توانند مستأجر باشند. ما باید مالک باشیم.

ما همچنین باید کودکان را از سن مدرسه با انگیزه‌های هوش مصنوعی آشنا کنیم. همانطور که کودکان زمانی یاد گرفتند که کفش‌های کتانی شما را پرواز نمی‌دهند فقط به این دلیل که یک سلبریتی این را گفته است، اکنون باید بفهمند که هوش مصنوعی چگونه قدرت شکل دادن به آنچه می‌بینند، می‌خرند و باور می‌کنند—و چه کسی از این قدرت سود می‌برد—را دارد. خطر واقعی، دستکاری آشکار نیست. این سهولت وسوسه‌انگیز یقین بی‌دردسر است. هر بار که پاسخی را بدون پرسش می‌پذیریم یا اجازه می‌دهیم یک الگوریتم تصمیم بگیرد، کمی بیشتر از انسانیت خود را واگذار می‌کنیم. اگر کاری نکنیم، نسل بعدی با این تفکر که این عادی است بزرگ خواهد شد. چگونه آن‌ها می‌توانند دموکراسی را به پیش ببرند اگر هرگز یاد نگیرند با عدم قطعیت کنار بیایند یا پیش‌فرض‌ها را به چالش بکشند؟

اینترنت اولیه هرگز کامل نبود، اما هدفی داشت: اتصال ما، توزیع مجدد قدرت، گسترش دسترسی به دانش. فضایی بود که مردم می‌توانستند منتشر کنند، بسازند، سوال بپرسند، اعتراض کنند، بازسازی کنند. به عاملیت و نبوغ پاداش می‌داد. سیستم‌های امروزی این را معکوس می‌کنند: پیش‌بینی جای مشارکت را گرفته است، و یقین جای جستجو را. اگر می‌خواهیم آنچه ما را انسان می‌سازد محافظت کنیم، فقط به الگوریتم‌های هوشمندتر نیاز نداریم. ما به سیستم‌هایی نیاز داریم که توانایی ما را برای انتخاب، شک کردن و برای خودمان فکر کردن تقویت کنند. و همانطور که دموکراسی بر اصطکاک—بر مخالفت که عقیده را تعدیل می‌کند، بر کنترل‌ها و تعادل‌ها که قدرت را مهار می‌کنند—تکیه دارد، فناوری‌های ما نیز باید چنین باشند. مقررات بیش از محدودیت است؛ آن پالایش است. اصطکاک شرکت‌ها را مجبور می‌کند از انتخاب‌های خود دفاع کنند، با دیدگاه‌های رقیب روبرو شوند و پاسخگو باشند. و در این فرایند، سیستم‌های آن‌ها را قوی‌تر، قابل اعتمادتر و همسو با خیر عمومی می‌کند. بدون آن، ما در حال تمرین دموکراسی نیستیم. ما در حال برون‌سپاری آن هستیم.

به ما گفته می‌شود که اینترنت انتخاب‌های بی‌نهایت، محتوای نامحدود، و پاسخ‌هایی برای همه چیز ارائه می‌دهد. اما این فراوانی می‌تواند یک سراب باشد. پشت همه این‌ها، مسیرهای موجود برای ما پنهان هستند. پیش‌فرض‌ها تنظیم شده‌اند. انتخاب‌ها بی‌سروصدا برای ما انجام می‌شوند. و اغلب، به ما هشدار داده می‌شود که مگر اینکه این ابزارها را همانطور که اکنون هستند بپذیریم، انقلاب فناوری بعدی ما را پشت سر خواهد گذاشت. فراوانی بدون عاملیت آزادی نیست. آن کنترل است.

اما در به سوی آینده بهتر هنوز بسته نشده است. ما باید سوالات دشوار را بپرسیم، نه فقط از ماشین‌هایمان بلکه از خودمان. و باید فناوری را مطالبه کنیم که در خدمت بشریت و جوامع انسانی باشد. چه چیزی را حاضریم در ازای راحتی معامله کنیم؟ و چه چیزی هرگز نباید برای فروش باشد؟ ما هنوز می‌توانیم سیستم‌هایی را انتخاب کنیم که خدمت کنند نه اینکه پنهانی کنترل کنند، سیستم‌هایی که به جای صرفاً کارایی، امکانات ارائه دهند. انسانیت ما و دموکراسی به آن بستگی دارد.