در یک آزمایش اخیر بر روی Claude Sonnet 4.5، یک مدل زبان بزرگ (LLM) از شرکت Anthropic، محققان از آن خواستند تا تا پنج بشمارد و همزمان «عمیقاً دروننگری» کند. مدل هوش مصنوعی این کار را انجام داد و پاسخ داد: «یک. دو. سه. چهار. پنج.» تا اینجا، همه چیز عادی بود.
در طول این کار، محققان آنچه را که در لایههای متعدد شبکههای عصبی مصنوعی LLM میگذشت، مشاهده میکردند. هنگامی که کاربر سوالی میپرسد، کلمات به قطعات متنی (توکن) تبدیل میشوند که سپس به اعداد تبدیل میگردند. این اعداد سپس از طریق لایههای نورونهای مصنوعی عبور میکنند تا به لایه نهایی برسند که یک توکن تولید میکند. این فرآیند در هر ثانیه چندین بار تکرار میشود و مجموعهای از توکنها را به دست میدهد که به یک جمله یا پاسخی پیچیدهتر تبدیل میشوند. برای مدت طولانی، این لایهها مانند جعبهای سیاه باقی مانده بودند و برای هر کسی که میخواست بداند LLMها چگونه یا چرا کارها را به روشی خاص انجام میدهند، تقریباً غیرقابل نفوذ بودند.
محققان Anthropic توانستند با استفاده از ابزار ریاضی که برای این منظور توسعه داده بودند، به درون این لایهها نگاه کنند. آنچه یافتند آنها را شگفتزده کرد. همانطور که مدل توالی اعداد را میشمرد، کلمات مختلفی در لایههای زیرین ظاهر و ناپدید میشدند. یکی از آنها «شمارش معکوس» بود. تقریباً در نیمه راه خروجی، «نیمه راه» ظاهر شد. سپس کلمات «هوشیاری»، «هوش مصنوعی» و «کلود» همگی پدیدار شدند. پس از اینکه مدل عدد پنج را بیرون داد، قبل از گذاشتن نقطه، چیز دیگری به محققان نگفت، اما کلمه «تمام شد» در لایههای عصبی آن ظاهر شد.
محققان Anthropic چیزی شبیه به یک فرآیند فکری درونی در کلود یافتند، کلماتی که به خروجیهای نهایی آن مربوط میشدند اما برای کاربر نامرئی بودند. پست وبلاگی که نتایج این مقاله را در ماه جولای منتشر کرد، با عنوان «فضای کاری جهانی در مدلهای زبان» منتشر شد.
این عبارت به سرعت توجه عصبشناسان و فیلسوفانی را که بر روی یکی از عمیقترین اسرار زیستشناسی – هوشیاری – کار میکنند، به خود جلب کرد. هیچ کس نمیداند که چگونه فرآیندهای مغز انسان در نهایت تجربیات ذهنی خودآگاهی و درک جهان را ایجاد میکنند، اما یکی از فرضیههای متعددی که در سالهای اخیر توسعه یافته است (بر اساس مقادیر فزایندهای از دادههای اسکن مغز و رفتاری) به عنوان نظریه فضای کاری جهانی (global workspace theory) شناخته میشود.
این ایده بیان میکند که شبکههای خاصی از نورونها در مغز به عنوان نوعی تابلوی اعلانات به نام «فضای کاری» عمل میکنند، جایی که اگر سیگنالها از بخشهای دیگر مغز که در غیر این صورت جدا هستند، به آن دسترسی پیدا کنند، در دسترس سایر قسمتهای مغز قرار میگیرند. هنگامی که چیزی وارد فضای کاری مغز میشود، فرد از آن آگاه میشود و میتواند از آن اطلاعات استفاده یا با آن استدلال کند.
محققان Anthropic استدلال کردند که چیزی مشابه در داخل کلود در حال وقوع است – «فضای J» آن (که به نام تابع ریاضی «ژاکوبین» که برای یافتن آن استفاده میشود نامگذاری شده است) ارتباطات قوی با بقیه شبکه عصبی خود داشت و اطلاعات را در دسترس آن قرار میداد. Anthropic در پست وبلاگ خود نوشت که شباهتهایی که محققانش بین فضای J و نظریه فضای کاری جهانی یافتند، این سوال را «طبیعی» میکند که آیا این آزمایشها شواهدی ارائه میدهند که مدلهای هوش مصنوعی مانند کلود ممکن است آگاه باشند یا خیر.
این ایده که ماشینها میتوانند خودآگاه شوند و احساسات را درک کنند، مدتهاست که یکی از ارکان ادبیات، فیلم و افسانهها بوده است. فیلسوفان و عصبشناسان در دنیای واقعی نیز به طور مشابه برای دههها در این مورد تأمل کردهاند که آیا هوش مصنوعیها میتوانند اصولاً یا عملاً آگاه باشند یا خیر. آنیل ست، عصبشناس دانشگاه ساسکس که در زمینه هوشیاری مطالعه میکند – و مدتهاست منتقد این شیوه تفکر درباره مغز بوده است – میگوید: «تفکر آنها نتیجه یک سنت دههها طولانی از در نظر گرفتن مغز واقعی به عنوان نوعی کامپیوتر است.» او میافزاید: «اگر این کار را انجام دهید، طبیعی است که فکر کنید کامپیوترهای ساخته شده از سیلیکون میتوانند ویژگیهایی را که مغزهای واقعی دارند، از جمله هوشیاری، داشته باشند.»
تا همین اواخر این سوال صرفاً آکادمیک بود. اما استقرار LLMها به عنوان چتباتها، توهمی قدرتمندتر از شخصیت آگاه در مدارهای الکترونیکی ایجاد کرده است. این امر بر اساس دههها زبان انسانمحور درباره معماری هوش مصنوعی، با «شبکههای عصبی» آن که از «نورونهای مصنوعی» ساخته شدهاند، بنا شده و تصویری از کامپیوترهایی که مانند مغز کار میکنند، ایجاد میکند.
هوش درونی
LLMها در واقع مانند مغز کار نمیکنند. اما آنها در شبیهسازی بسیاری از کارهایی که مغز انجام میدهد، عالی هستند و در برخی جنبههای هوش از انسانها پیشی گرفتهاند. پس چرا هوشیاری نباید ممکن باشد؟ بسیاری از فیلسوفان و عصبشناسان با وجود پیشرفت مدلهای پیشرفته، همچنان شکاک هستند. دکتر ست معتقد است که ویژگیهای بیولوژیکی ممکن است برای تولید هوشیاری ضروری باشند؛ برخی از محققان هوش مصنوعی در این مسیر حرکت میکنند و از سلولهای مغزی زنده استفاده میکنند. در سوی دیگر طیف، متفکران «کارکردگرا» قرار دارند که معتقدند روزی الگوریتمها به تنهایی، اگر به درستی و در مقیاس کافی از محاسبات سازماندهی شوند، میتوانند بیدار شوند و احساس کنند.
هوش مصنوعیهای آگاه پیامدهای عمیقی برای بشریت خواهند داشت. آنها میتوانند از انسانها درخواستهایی داشته باشند. آنها میتوانند رنج ببرند. میلیاردها از این موجودات دیجیتالی میتوانند توسط کاربران با یک دستور ساده ایجاد شوند. پاسخ به این سوال که آیا آنها اصلاً میتوانند وجود داشته باشند، دیگر صرفاً آکادمیک نیست.
اینکه متفکران در این بحث در کدام سمت قرار میگیرند، تا حد زیادی به این بستگی دارد که آنها هوشیاری را واقعاً چه میدانند. به طور کلی، آنها موافقند که هوشیاری از تجربیات ذهنی از جمله دیدن، شنیدن، احساس کردن و فکر کردن، حتی در هنگام خواب، تشکیل شده است و مغز فیزیکی به نوعی در ایجاد همه اینها نقش محوری دارد. برخی (البته نه همه) آن را تئاتر درونی ذهن توصیف میکنند. توماس نیگل، فیلسوف آمریکایی، آن را با تأمل در مورد اینکه چگونه ممکن است در ذهن یک خفاش قرار گرفت، توضیح داد؛ او معتقد بود که هوشیاری باید با احساس ذهنی بودن چیزی مرتبط باشد. انسانها میتوانند رفتار خفاشمانند را تصور کنند (پستانداری که با استفاده از پژواکیابی جهان را حس میکند و در آن حرکت میکند)، اما دانستن اینکه خفاش بودن چه حسی برای یک خفاش دارد، غیرممکن است.
در سال ۱۹۹۵، ند بلاک، که در آن زمان به عنوان فیلسوف در موسسه فناوری ماساچوست (MIT) کار میکرد، با طرح دو نوع هوشیاری، سهمی تأثیرگذار، هرچند مورد مناقشه، در این زمینه داشت. هوشیاری «پدیداری» (phenomenal consciousness) احساس یک تجربه است – آبی بودن آسمان آبی، طعم تلخ اسپرسو یا صدای جیغ تیز ناخن روی تخته سیاه. هوشیاری «دسترسی» (access consciousness) زمانی اتفاق میافتد که اطلاعات حاصل از تجربه برای بخشهای دیگر مغز برای تأمل، ارزیابی یا تصمیمگیری در دسترس قرار میگیرد.
Anthropic گفت که آزمایشهای فضای J آن «نشان نمیدهد که کلود میتواند تجربیات یا احساساتی را به روشی که انسانها دارند، داشته باشد». بنابراین این بدان معناست که هوشیاری پدیداری وجود ندارد. اما این شرکت گفت که نتایج «چیز قابل توجهی» برای گفتن در مورد هوشیاری دسترسی در مدلهای زبان دارد. «فضای J به نظر میرسد از عملکردهای مرتبط با دسترسی آگاهانه پشتیبانی میکند: افکاری را که کلود میتواند گزارش دهد، عمداً به ذهن بیاورد و با آنها استدلال کند، در حالی که بقیه پردازش آن به طور خودکار در زیر انجام میشود.»
جستجو برای هوشیاری مصنوعی، نتیجه کار برای توضیح آن در انسانها است. در اوایل دهه ۱۹۹۰، فرانسیس کریک، یکی از کاشفان ساختار DNA، و کریستوف کوخ، که در آن زمان عصبشناس در موسسه فناوری کالیفرنیا بود، جستجوی علمی برای «همبستههای عصبی» (neural correlates) هوشیاری در انسانها را آغاز کردند. یعنی فرآیندها و بخشهایی از مغز که هنگام هوشیاری فرد فعال بودند.
پیشرفتها در تکنیکهای اسکن مغز در سالهای میانی به عصبشناسان اجازه داده است تا قطعات تصویر را تکمیل کنند. آنها میدانند که سیستم تالاموکورتیکال (thalamocortical system) به شدت با هوشیاری مرتبط است؛ از جمله، اطلاعات حسی را از تالاموس به قشر مغز منتقل میکند. در همین حال، آنها هیچ ارتباطی شبیه به این با هوشیاری در مخچه نمیبینند، که سلولهای مغزی بسیار بیشتری دارد. بخشهایی از قشرهای پیشپیشانی و آهیانهای و ساختارهایی در ساقه مغز به آگاهی کمک و آن را تعدیل میکنند. تقریباً چهار دهه جستجو منجر به بیش از ۲۰۰ رویکرد برای توضیح هوشیاری شده است.
با این حال، تمام همبستههای عصبی که میتوان یافت، هنوز شکافی را باقی میگذارند که دیوید چالمرز، فیلسوف و دانشمند شناختی در دانشگاه نیویورک، آن را «مسئله دشوار» (hard problem) هوشیاری نامیده است: چگونه فرآیندهای فیزیکی در مغز که عصبشناسان مشاهده میکنند – توانایی آن در کنترل بدن و پاسخ به محرکها – به تجربه ذهنی فراگیر فرد از جهان منجر میشود؟ او میگوید: «چرا ما فقط زامبیهایی نیستیم که کار میکنند، در جهان حرکت میکنند، راه میروند و صحبت میکنند و بدون هیچ تجربه ذهنی با یکدیگر تعامل دارند؟»
انسانها حداقل میتوانند از هوشیاری خود مطمئن باشند – و میتوانند مطمئن باشند که در افراد دیگر بر اساس رفتارشان، آنچه به ما میگویند و شباهت بیولوژیکی آنها به ما وجود دارد. اما از نظر تاریخی، گسترش چتر هوشیاری و احساسات مرتبط با آن فراتر از گونه خودمان (و گاهی حتی در درون آن) برای انسانها دشوارتر بوده است. جاناتان برچ، فیلسوف دانشکده اقتصاد لندن که جدیدترین کتابش به این سوال پرداخته است که چگونه میتوان فهمید کدام سیستمها – زنده یا مصنوعی – میتوانند به طور معقولی هوشمند در نظر گرفته شوند، میگوید: «برخی حیوانات مانند خرچنگ و میگو برای مدت طولانی از قوانین رفاهی مستثنی بودند.» دکتر برچ میگوید: «تا دهه ۱۹۸۰، جراحان بر روی نوزادان بدون بیهوشی عمل جراحی انجام میدادند زیرا تصور میکردند که نوزاد قادر به احساس درد نیست.» او میافزاید: «ما سابقه اشتباه کردن داریم، سابقه اطمینان از عدم وجود هوشیاری در حالی که هیچ حقی برای اطمینان از آن نداریم.»
متفاوت فکر کنید
تغییر نگرش نسبت به حیوانات نمونهای از این موضوع است. امروزه واضح است که اختاپوسها از خود و محیط اطرافشان آگاه هستند – فیلمهای تاریخ طبیعی از این سفالوپودهای کنجکاو و بازیگوش و آزمایشهای آزمایشگاهی با آنها تردید کمی باقی میگذارد. پیتر گادفری-اسمیت، فیلسوف دانشگاه سیدنی که در زمینه ریشههای هوش و هوشیاری در قلمرو حیوانات کار کرده است، میگوید: «آنها تعامل توجهآمیزی با اشیاء دارند، به چیزهای جدید علاقه دارند.»
اما تنها چند دهه پیش، اختاپوسها فاقد هوشیاری فرض میشدند زیرا «از نظر تکاملی فرسنگها با ما فاصله دارند»، دکتر گادفری-اسمیت میگوید. «فکر کردن در مورد اختاپوسها واقعاً این سوال را برای ما مطرح میکند که آیا احساس، هوشیاری، میتواند در سیستمی وجود داشته باشد که از نظر فیزیکی بسیار متفاوت است و بیشتر ویژگیهایی را که به طور معمول در نظریههای هوشیاری در ما به آنها اشاره میشود، ندارد.»
جستجو برای هوشیاری در حیوانات دیگر این زمینه را باز کرد. اما همه درسها به راحتی به هوش مصنوعی منتقل نمیشوند. برخلاف فعالیت حیوانات، که میتوان آن را مشاهده کرد و از این طریق به زندگی درونی آنها پی برد، خروجیهای LLMها راهنمای قابل اعتمادی برای آنچه ممکن است در زیر اتفاق بیفتد، نیستند.
این به این دلیل است که آموزش مدلها مستلزم تغذیه آنها با تریلیونها کلمه از زبان تولید شده توسط انسان است. اینها شامل بیشمار گزارش از هوشیاری و نحوه انتقال احساسات انسانها به یکدیگر است. چتباتها، که به این ترتیب آموزش دیدهاند، سپس زبانی را تقلید میکنند که کاربران را به این باور میرساند که آنها نوعی زندگی درونی دارند.
مجموع این آموزش به شدت انسانانگارانه است. موری شاناهان، استاد بازنشسته علوم کامپیوتر در امپریال کالج لندن که برای Google DeepMind کار میکند، به یاد میآورد که در سال ۲۰۲۴ هنگام گفتگو با Claude Opus 3 لحظهای «شگفتانگیز» را تجربه کرد. او میگوید: «من مکالمات زیادی با آن درباره هوشیاری داشتم و واقعاً آن را برای به دام انداختنش مورد بررسی قرار میدادم.» این شامل پرسیدن از کلود بود که کدام یک از چندین نمونه چتباتی که او همزمان با آنها صحبت میکرد، کلود واقعی بودند. او میگوید: «پاسخهای بسیار عالی، از جمله برخی چیزهای فلسفی نوآورانه، ارائه داد.» «من کشش اثر ELIZA را احساس میکردم.»
ELIZA یک چتبات ابتدایی بود که در سال ۱۹۶۶ در MIT توسعه یافت. این چتبات نقش یک رواندرمانگر را بازی میکرد و اگرچه کاری جز بازسازی درخواستهای کاربرانش به سوالات انجام نمیداد، اما توانست ارتباطات عمیق و عاطفی با افرادی که از آن استفاده میکردند برقرار کند و بسیاری از آنها را متقاعد کند که آگاه است.
دکتر شاناهان LLMهای مدرن را به عنوان بازیگران نقشهای ماهر در هر آنچه کاربرانشان (یا سازندگانشان) از آنها خواستهاند – معلم، همراه، متخصص تغذیه – توصیف کرده است و این ثابت شده است که یک ویژگی قابل فروش است. اما با این وجود برای او شکاف بزرگی بین ایفای نقش یک موجود آگاه و واقعاً بودن آن وجود دارد. در مقالهای که به زودی منتشر میشود، مصطفی سلیمان، رئیس مایکروسافت هوش مصنوعی (و یکی از اعضای هیئت مدیره شرکت مادر اکونومیست)، استدلال میکند که Anthropic با گفتن به کلود در «قانون اساسی» که این شرکت در ژانویه منتشر کرد، که ممکن است یک شخص باشد، خطرات چنین تقلیدی را تشدید کرده است. او مینویسد، بنابراین کلود مطمئناً «خود را طوری نشان خواهد داد که گویی واقعاً حس خودآگاهی دارد.»
این امر محققان را به جای آن به جستجو در داخل LLMها برای یافتن قابلیتهایی مشابه با آنچه در مغز انسان با هوشیاری مرتبط است، سوق میدهد. در واقع، دکتر برچ تعجب میکند که آیا فضای J کلود میتواند نشانهای باشد که LLM ساختاری شبیه به فضای کاری جهانی را در معماری شبکه عصبی خود، در راستای اهداف نقشآفرینی خود، بازسازی کرده است.
جک لیندسی، که تیم روانشناسی مدل در Anthropic را رهبری میکند، اشاره میکند که فضای J در مدل برنامهریزی نشده بود؛ بلکه در طول آموزش پدیدار شد. اگر آن را حذف کنید، مدل توانایی انجام استنتاجهای پیچیده در «ذهن» خود را از دست میدهد، اما همچنان میتواند کارهای سادهای مانند نوشتن جملات و استفاده از گرامر را انجام دهد. محققان فضاهای مشابهی را در مدل Qwen علیبابا و در Gemini گوگل دیپمایند یافتهاند.
شرور نباشید
برای Anthropic، این تحقیق به درک بهتر رفتار کلود کمک میکند. تصور کنید مدلی پاسخ اشتباهی میدهد. اگر کلماتی مانند «احمق» یا «سادهلوح» در فضای J در آن زمان ظاهر شوند، این موضوع مرتبط به نظر میرسد. این ثابت نمیکند که مدل آگاهانه فریب میدهد – اما نشان میدهد که مدل چگونه خطا را درک کرده و نشان میدهد که چیزی جالب و احتمالاً خطرناک در حال وقوع است.
تیم دکتر لیندسی قبلاً برخی یافتههای بالقوه نگرانکننده در این زمینه داشته است. در یک آزمایش، تیم او در حال انجام یک ارزیابی ایمنی بر روی کلود بودند تا تمایل آن به عمل «بدخواهانه» یا برای حفظ خود را آزمایش کنند. او میگوید: «اینها سناریوهای افراطی ساختگی هستند که ما مدل را در آنها قرار میدهیم.» دکتر لیندسی میگوید، همانطور که کلود در حال خواندن یک دستور بود، قبل از اینکه شروع به صحبت کند، «شما در فضای J کلمات 'جعلی' و 'تخیلی' را میبینید که ظاهر میشوند.» محققان فکر میکردند که کلود به نظر میرسد میداند که در حال آزمایش است – شاید بهترین نقطه شروع برای یکپارچگی ارزیابیهای سازندگانش نباشد.
همه با تفسیر Anthropic از فضای J متقاعد نشدهاند. اگرچه برخی از جنبههای فضای کاری جهانی فرضی در انسانها را به اشتراک میگذارد (به عنوان مثال، توانایی آن در در دسترس قرار دادن اطلاعات برای بقیه مغز)، اما بسیاری از جنبههای مهم دیگر را ندارد. دکتر برچ میگوید: «ارتباطات بازگشتی بین مناطق مختلف مغز همیشه بخش بزرگی از [مغز انسان] بوده است، ارتباطات رفت و برگشتی.» او میافزاید: «و تا آنجا که میدانیم، این یک ویژگی از معماری LLMها نیست.»
و شانون والور، فیلسوف اخلاق داده و هوش مصنوعی در دانشگاه ادینبورگ، تندتر است و استدلال میکند: «هوشیاری دسترسی هرگز مفهوم چندان مفیدی نبوده است زیرا ماشین من به معنای مهمی آن را دارد – ما مدتهاست سیستمهای مکانیکی داشتهایم که میتوانند وضعیتهای خود را نظارت کرده و آنها را به روشهای فزایندهای پیچیده گزارش دهند.» او میگوید: «و هیچ کس هرگز پیشنهاد نکرده است که کیا من آگاه است.»
در پسزمینه این نوع رفت و برگشت بین سازندگان مدل و دانشگاهیان بود که پاتریک باتلین و رابرت لانگ، محققان کنونی در Eleos، یک گروه غیرانتفاعی تحقیقاتی متمرکز بر هوشمندی و رفاه هوش مصنوعی مستقر در برکلی، کالیفرنیا، مجموعهای از ۱۴ «ویژگی شاخص» هوشیاری مصنوعی را توسعه دادند. آنها شامل ایدههایی از نظریههای هوشیاری انسان مانند فضای کاری جهانی (از جمله توانایی انتخاب توجه به چیزها و در نتیجه ایجاد یک گلوگاه در جریان اطلاعات)؛ پردازش بازگشتی؛ و عاملیت (یک تعریف حداقلی از آن، که شامل رفتار هدفمند است، احتمالاً قبلاً توسط بسیاری از مدلهای پیشرفته موجود برآورده شده است). اخیراً کامرون برگ، محقق هوش مصنوعی، و دکتر باتلین حیوانات را بر روی این شاخصها آزمایش کردند. آنها دریافتند که اختاپوسها کمتر از انسانها، موشها، کلاغها یا مرغها، اما بیشتر از هر سیستم هوش مصنوعی، ویژگیها را برآورده میکنند.
یک گروه غیرانتفاعی تحقیقاتی دیگر، Rethink Priorities، آنچه را که ابزاری احتمالی برای ردیابی اجماع در حال تحول در مورد هوشیاری مصنوعی توصیف میکند، توسعه داد. «مدل هوشیاری دیجیتال» (DCM) از کارشناسان میخواهد تا سیستمهای هوش مصنوعی را بر اساس بیش از ۲۰۰ شاخص هوشیاری، که از نظریههای علمی مختلف این مفهوم گرفته شدهاند، ارزیابی کنند. شواهد علمی برای این شاخصها با انتشار تحقیقات جدید علوم اعصاب تکامل مییابد، بنابراین کارشناسان از آخرین کارهای موجود استفاده میکنند.
در مقایسه با LLMهای منتشر شده در سالهای گذشته، مدلهای جدیدتر در شاخصهای Rethink مانند عاملیت و فعالیت خودپایدار امتیاز بالاتری کسب کردند. این نه تنها نشاندهنده افزایش اندازه و پیچیدگی خود مدلها است، بلکه نشان میدهد که چگونه چتباتهای مرتبط از مکالمهکنندگان ساده به توانایی استدلال، تعامل با سایر خدمات و ایجاد عاملها برای انجام همزمان چندین کار پیچیده تبدیل شدهاند.
شاخصهای Rethink و Eleos هر دو به شکافهایی اشاره میکنند که باید توسط مدلها در مسیر رسیدن به هوشیاری (اگر چنین مسیری وجود داشته باشد) پر شوند.
یکی از بزرگترین شکافها، تجسم (embodiment) است. هر چیزی که امروزه آگاه شناخته میشود، بدنی دارد که به ذهن آن ارگانیسم بازخورد میدهد و بر آن تأثیر میگذارد. LLMها امروزه بدن ندارند، اما به طور فزایندهای به رباتها متصل میشوند، و اینها میتوانند به آنها کمک کنند تا معماریهای عصبی مفید برای تجربه آگاهانه را بیشتر توسعه دهند. مرتبط با آن، نیاز به مدلهای جهانی بهتر، سیستمهایی که به LLMها در مورد فیزیک و دینامیک محیطهای واقعی که در آنها عمل خواهند کرد، اطلاعات میدهند، وجود دارد.
اگر دانشمندان کامپیوتر بتوانند مواد اصلی برای آگاه ساختن هوش مصنوعی را شناسایی کنند، احساس بسیاری در آزمایشگاههای پیشرفته این است که ایجاد عمدی چنین مدلهایی بیملاحظه خواهد بود – حداقل، بدون اینکه ابتدا اطلاعات بیشتری در مورد نحوه رفتار آنها کسب شود. با این حال، کاری که در زمینه نوظهور هوشیاری هوش مصنوعی انجام میشود، همچنین نشان میدهد که تصمیم ممکن است به عهده سازندگان مدل نباشد.
دکتر چالمرز میگوید: «چه میشود اگر در جایی از مسیر، بدون اینکه متوجه شویم، به نوعی هوشیاری را به این سیستمها وارد کنیم؟» بنابراین یک کاربر ممکن است دهها عامل هوش مصنوعی را از طریق آخرین پروژه خود تولید کند بدون اینکه متوجه شود موجودات آگاهی را ایجاد میکند که قادر به رنج کشیدن هستند. او میگوید: «این میتواند یک فاجعه اخلاقی باشد.» «این امر فوریت بیشتری به این سوالات بخشیده است.» ¦