گروه‌های پیشرو هوش مصنوعی در جهان در حال افزایش تلاش‌ها برای کاهش تعداد «توهمات» در مدل‌های زبان بزرگ هستند، زیرا به دنبال حل یکی از موانع بزرگ در پذیرش این فناوری قدرتمند می‌باشند.
گوگل، آمازون، کوهیر و میسترال از جمله شرکت‌هایی هستند که با ارائه راه‌حل‌های فنی، بهبود کیفیت داده‌ها در مدل‌های هوش مصنوعی و ساخت سیستم‌های راستی‌آزمایی و بررسی حقایق در محصولات هوش مصنوعی مولد خود، سعی در کاهش نرخ این پاسخ‌های ساختگی دارند.
کاهش این به اصطلاح توهمات، برای افزایش استفاده از ابزارهای هوش مصنوعی در صنایعی مانند حقوق و سلامت که به اطلاعات دقیق نیاز دارند، و کمک به افزایش درآمدهای بخش هوش مصنوعی، حیاتی تلقی می‌شود.
این تلاش‌ها در حالی صورت می‌گیرد که خطاهای چت‌بات‌ها قبلاً منجر به اشتباهات پرهزینه و دعاوی قضایی شده‌اند. سال گذشته، یک دادگاه به ایر کانادا دستور داد که تخفیف ساختگی ارائه شده توسط چت‌بات خدمات مشتری خود را محترم شمارد، و وکلایی که از ابزارهای هوش مصنوعی در اسناد دادگاهی استفاده کرده‌اند، پس از ساختگی بودن ارجاعات، با مجازات مواجه شده‌اند.
اما کارشناسان هوش مصنوعی هشدار می‌دهند که حذف کامل توهمات از مدل‌های زبان بزرگ به دلیل نحوه عملکرد این سیستم‌ها غیرممکن است.
امر عوض‌الله، مدیر اجرایی سابق گوگل و بنیانگذار وکتارا (استارتاپ عامل هوش مصنوعی مولد) می‌گوید: «توهمات یک مشکل بسیار دشوار برای رفع هستند، به دلیل ماهیت احتمالی نحوه کار این مدل‌ها. شما هرگز نمی‌توانید آن‌ها را کاملاً بدون توهم کنید.»
این خطاها رخ می‌دهند زیرا مدل‌های زبان بزرگ طراحی شده‌اند تا کلمه احتمالی بعدی در یک جمله را بر اساس آماری که از داده‌های آموزشی خود یاد گرفته‌اند، پیش‌بینی کنند.
این اشتباهات می‌توانند به صورت نادرستی‌های واقعی یا عدم همخوانی مدل با دستورالعمل‌ها ظاهر شوند، به عنوان مثال، خلاصه کردن رویدادها از سالی اشتباه. اینکه چه داده‌هایی وارد مجموعه آموزشی یک مدل هوش مصنوعی می‌شوند، اهمیت دارد، زیرا هرچه یک قطعه اطلاعات بیشتر ظاهر شود، احتمال تکرار آن توسط مدل بیشتر است.
در ساده‌ترین حالت، هدف مدل هوش مصنوعی اکنون پیش‌بینی کلمه بعدی در یک توالی و تکرار این کار تا زمانی است که خروجی کامل شود.
برای این کار، مدل به هر توکن، که نشان‌دهنده احتمال بودن آن به عنوان کلمه بعدی در توالی است، یک نمره احتمالی می‌دهد.
و این کار را تا زمانی ادامه می‌دهد که از متنی که تولید کرده «راضی» باشد.
اما این روش پیش‌بینی کلمه بعدی به صورت جداگانه — که به آن «جستجوی حریصانه» (greedy search) گفته می‌شود — می‌تواند مشکلاتی ایجاد کند. گاهی اوقات، در حالی که هر توکن به صورت جداگانه ممکن است بهترین گزینه بعدی باشد، اما کل عبارت می‌تواند کمتر مرتبط باشد.
ترانسفورمرها، معماری‌ای که مدل‌های زبان بزرگ را نیرو می‌دهد، از تعدادی رویکرد برای حل این مشکل و افزایش کیفیت خروجی خود استفاده می‌کنند. یک مثال، جستجوی پرتو (beam search) نام دارد.
با جستجوی پرتو، مدل می‌تواند چندین مسیر را در نظر بگیرد و بهترین گزینه را پیدا کند.
این روش نتایج بهتری تولید می‌کند و در نهایت منجر به متنی منسجم‌تر و شبیه به انسان می‌شود.
میزان توهم در مدل‌های هوش مصنوعی به طور قابل توجهی متفاوت است. وکتارا، که یک جدول رده‌بندی برای ردیابی این خطاها ایجاد کرده است، دریافت که برخی از مدل‌ها می‌توانند تنها 0.8 درصد اوقات و برخی دیگر تا 29.9 درصد مواقع هنگام خلاصه‌سازی یک سند توهم داشته باشند.
به گفته عوض‌الله، نرخ توهمات در ابتدا با نسل جدیدی از مدل‌های هوش مصنوعی که قادر به «استدلال» یا حل گام به گام مسائل هستند، افزایش یافت. این احتمالاً به دلیل این است که آن‌ها برای حل مسائل به روش‌های مختلف، زمان بسیار طولانی‌تری در داخل خود تکرار و پردازش می‌کنند، که منجر به احتمال بالاتر بروز خطا می‌شود. با این حال، وی افزود که با یادگیری شرکت‌ها برای ساخت محافظ‌های بهتر برای این مدل‌ها، نرخ توهمات کاهش یافته است.
اما تحقیقات این شرکت نشان داد که وقتی سیستم‌های هوش مصنوعی بر منابع اطلاعاتی دیگر، مانند جستجوی آنلاین، مقالات خبری یا اسناد داخلی شرکت، «مبنا» قرار می‌گیرند — به جای اینکه فقط به داده‌های آموزشی خود تکیه کنند — میزان خطاها به طور قابل توجهی کاهش می‌یابد.
| آزمایشگاه | مدل | نرخ توهم | نرخ سازگاری واقعی | نرخ پاسخ‌دهی | میانگین طول خلاصه (کلمات) |
|---|---|---|---|---|---|
| Gemini-2.0-Flash-001 | 0.7 | 99.3 | 100.0 | 65.2 | |
| Gemini-2.0-Pro-Exp | 0.8 | 99.2 | 99.7 | 61.5 | |
| OpenAI | o3-mini-high | 0.8 | 99.2 | 100.0 | 79.5 |
| Vectara | Mockingbird-2-Echo | 0.9 | 99.1 | 100.0 | 74 |
| Gemini-2.5-Pro-Exp-0325 | 1.1 | 98.9 | 95.1 | 72.9 | |
| Gemini-2.0-Flash-Lite-Preview | 1.2 | 98.8 | 99.5 | 60.9 | |
| OpenAI | GPT-4.5-Preview | 1.2 | 98.8 | 100.0 | 77 |
| Zhipu AI | GLM-4-9B-Chat | 1.3 | 98.7 | 100.0 | 58.1 |
| Gemini-2.0-Flash-Exp | 1.3 | 98.7 | 99.9 | 60 | |
| Gemini-2.5-Flash-Preview | 1.3 | 98.7 | 91.2 | 71.1 | |
| OpenAI | OpenAI-o1-mini | 1.4 | 98.6 | 100.0 | 78.3 |
| OpenAI | GPT-4o | 1.5 | 98.5 | 100.0 | 77.8 |
| Amazon | Nova-Micro-V1 | 1.6 | 98.4 | 100.0 | 90 |
| OpenAI | GPT-4o-mini | 1.7 | 98.3 | 100.0 | 76.3 |
| OpenAI | GPT-4-Turbo | 1.7 | 98.3 | 100.0 | 86.2 |
| Gemini-2.0-Flash-Thinking-Exp | 1.8 | 98.2 | 99.3 | 73.2 | |
| Amazon | Nova-Lite-V1 | 1.8 | 98.2 | 99.9 | 80.7 |
| OpenAI | GPT-4 | 1.8 | 98.2 | 100.0 | 81.1 |
| Amazon | Nova-Pro-V1 | 1.8 | 98.2 | 100.0 | 85.5 |
| OpenAI | GPT-3.5-Turbo | 1.9 | 98.1 | 99.6 | 84.1 |
| xAI | Grok-2 | 1.9 | 98.1 | 100.0 | 86.5 |
| OpenAI | GPT-4.1-nano | 2.0 | 98.0 | 100.0 | 70.2 |
| OpenAI | GPT-4.1 | 2.0 | 98.0 | 100.0 | 71.9 |
| xAI | Grok-3-Beta | 2.1 | 97.8 | 100.0 | 97.7 |
| OpenAI | GPT-4.1-mini | 2.2 | 97.8 | 100.0 | 79.6 |
| Qwen | Qwen3-14B | 2.2 | 97.8 | 100.0 | 82.4 |
| AI21 | Jamba-1.6-Large | 2.3 | 97.7 | 99.9 | 85.6 |
| OpenAI | o1-Pro | 2.4 | 97.6 | 100.0 | 81 |
| OpenAI | o1 | 2.4 | 97.6 | 99.9 | 73 |
| DeekSeek | DeepSeek-V2.5 | 2.4 | 97.6 | 100.0 | 83.2 |
| Microsoft | Orca-2-13b | 2.5 | 97.5 | 100.0 | 66.2 |
| Microsoft | Phi-3.5-MoE-instruct | 2.5 | 97.5 | 96.3 | 69.7 |
| Gemini-2.5-Pro-Preview-06-05 | 2.6 | 97.4 | 99.6 | 73.1 | |
| Intel | Neural-Chat-7B-v3-3 | 2.6 | 97.4 | 100.0 | 60.7 |
| Qwen | Qwen3-4B | 2.7 | 97.3 | 100.0 | 87.7 |
| Gemma-3-12B-Instruct | 2.8 | 97.2 | 100.0 | 69.6 | |
| Qwen | Qwen2.5-7B-Instruct | 2.8 | 97.2 | 100.0 | 71 |
| Qwen | Qwen3-32B | 2.8 | 97.2 | 100.0 | 82.4 |
| AI21 | Jamba-1.5-Mini | 2.9 | 97.1 | 95.6 | 74.5 |
| xAI | Grok-2-Vision | 2.9 | 97.1 | 100.0 | 79.8 |
| Qwen | Qwen2.5-Max | 2.9 | 97.1 | 88.8 | 90.4 |
| Gemma-3-27B-Instruct | 3.0 | 97.0 | 100.0 | 62.5 | |
| Qwen | Qwen2.5-32B-Instruct | 3.0 | 97.0 | 100.0 | 67.9 |
| Snowflake | Snowflake-Arctic-Instruct | 3.0 | 97.0 | 100.0 | 68.7 |
| Qwen | Qwen3-8B | 3.0 | 97.0 | 100.0 | 78.2 |
| Microsoft | Phi-3-mini-128k-instruct | 3.1 | 96.9 | 100.0 | 60.1 |
| Mistral | Small3 | 3.1 | 96.9 | 100.0 | 74.9 |
| xAI | Grok-3-Mini-Beta | 3.3 | 96.7 | 100.0 | 90.2 |
| OpenAI | o1-preview | 3.3 | 96.7 | 100.0 | 119.3 |
| Gemini-1.5-Flash-002 | 3.4 | 96.6 | 99.9 | 59.4 | |
| Microsoft | Phi-4-mini-instruct | 3.4 | 96.6 | 100.0 | 69.7 |
| Gemma-3-4B-Instruct | 3.7 | 96.3 | 100.0 | 63.7 | |
| Qwen | Qwen3-0.6B | 3.7 | 96.3 | 100.0 | 65.3 |
| 01-AI | Yi-1.5-34B-Chat | 3.7 | 96.3 | 100.0 | 83.7 |
| Meta | Llama-3.1-405B-Instruct | 3.9 | 96.1 | 99.6 | 85.7 |
| DeekSeek | DeepSeek-V3 | 3.9 | 96.1 | 100.0 | 88.2 |
| Microsoft | Phi-3-mini-4k-instruct | 4.0 | 96.0 | 100.0 | 86.8 |
| Meta | Llama-3.3-70B-Instruct | 4.0 | 96.0 | 100.0 | 85.3 |
| Shanghai AI Laboratory | InternLM3-8B-Instruct | 4.0 | 96.0 | 100.0 | 97.5 |
| Microsoft | Phi-3.5-mini-instruct | 4.1 | 95.9 | 100.0 | 75 |
| Mistral | Mistral-Large2 | 4.1 | 95.9 | 100.0 | 77.4 |
| Meta | Llama-3-70B-Chat-hf | 4.1 | 95.9 | 99.2 | 68.5 |
| Qwen | Qwen2-VL-7B-Instruct | 4.2 | 95.8 | 100.0 | 73.9 |
| Qwen | Qwen2.5-14B-Instruct | 4.2 | 95.8 | 100.0 | 74.8 |
| Qwen | Qwen2.5-72B-Instruct | 4.3 | 95.7 | 100.0 | 80 |
| Meta | Llama-3.2-90B-Vision-Instruct | 4.3 | 95.7 | 100.0 | 79.8 |
| Qwen | Qwen3-1.7B | 4.4 | 95.6 | 100.0 | 69 |
| Anthropic | Claude-3.7-Sonnet | 4.4 | 95.6 | 100.0 | 97.8 |
| Anthropic | Claude-3.7-Sonnet-Think | 4.5 | 95.5 | 99.8 | 99.9 |
| Cohere | Command-A | 4.5 | 95.5 | 100.0 | 77.3 |
| OpenAI | o4-mini | 4.6 | 95.4 | 100.0 | 82 |
| AI21 | Jamba-1.6-Mini | 4.6 | 95.4 | 100.0 | 82.3 |
| Meta | Llama-4-Maverick | 4.6 | 95.4 | 100.0 | 84.8 |
| xAI | Grok | 4.6 | 95.4 | 100.0 | 91 |
| Anthropic | Claude-3-5-sonnet | 4.6 | 95.4 | 100.0 | 95.9 |
| Meta | Llama-4-Scout | 4.7 | 95.3 | 100.0 | 80.7 |
| Qwen | Qwen2-72B-Instruct | 4.7 | 95.3 | 100.0 | 100.1 |
| Microsoft | Phi-4 | 4.7 | 95.3 | 100.0 | 100.3 |
| Mistral | Mistral-8x22B-Instruct-v0.1 | 4.7 | 95.3 | 99.9 | 92 |
| Anthropic | Claude-3-5-haiku | 4.9 | 95.1 | 100.0 | 92.9 |
| 01-AI | Yi-1.5-9B-Chat | 4.9 | 95.1 | 100.0 | 85.7 |
| Cohere | Command-R | 4.9 | 95.1 | 100.0 | 68.7 |
| Meta | Llama-3.1-70B-Instruct | 5.0 | 95.0 | 100.0 | 79.6 |
| Gemma-3-1B-Instruct | 5.3 | 94.7 | 99.9 | 57.9 | |
| Meta | Llama-3.1-8B-Instruct | 5.4 | 94.6 | 100.0 | 71 |
| Cohere | Command-R-Plus | 5.4 | 94.6 | 100.0 | 68.4 |
| Mistral | Mistral-Small-3.1-24B-Instruct | 5.6 | 94.4 | 100.0 | 73.1 |
| Meta | Llama-3.2-11B-Vision-Instruct | 5.5 | 94.5 | 100.0 | 67.3 |
| Meta | Llama-2-70B-Chat-hf | 5.9 | 94.1 | 99.9 | 84.9 |
| IBM | Granite-3.0-8B-Instruct | 6.5 | 93.5 | 100.0 | 74.2 |
| Gemini-1.5-Pro-002 | 6.6 | 93.7 | 99.9 | 62 | |
| Gemini-1.5-Flash | 6.6 | 93.4 | 99.9 | 63.3 | |
| Mistral | Mistral-Pixtral | 6.6 | 93.4 | 100.0 | 76.4 |
| Microsoft | phi-2 | 6.7 | 93.3 | 91.5 | 80.8 |
| OpenAI | o3 | 6.8 | 93.2 | 100.0 | 77.7 |
| Gemma-2-2B-it | 7.0 | 93.0 | 100.0 | 62.2 | |
| Qwen | Qwen2.5-3B-Instruct | 7.0 | 93.0 | 100.0 | 70.4 |
| Meta | Llama-3-8B-Chat-hf | 7.4 | 92.6 | 99.8 | 79.7 |
| Mistral | Mistral-Ministral-8B | 7.5 | 92.5 | 100.0 | 62.7 |
| Gemini-Pro | 7.7 | 92.3 | 98.4 | 89.5 | |
| DeekSeek | DeepSeek-R1-0528 | 7.7 | 92.3 | 100.0 | 138.9 |
| 01-AI | Yi-1.5-6B-Chat | 7.9 | 92.1 | 100.0 | 98.9 |
| Meta | Llama-3.2-3B-Instruct | 7.9 | 92.1 | 100.0 | 72.2 |
| DeekSeek | DeepSeek-V3-0324 | 8.0 | 92.0 | 100.0 | 78.9 |
| Mistral | Mistral-Ministral-3B | 8.3 | 91.7 | 100.0 | 73.2 |
| Databricks | dbrx-instruct | 8.3 | 91.7 | 100.0 | 85.9 |
| Qwen | Qwen2-VL-2B-Instruct | 8.3 | 91.7 | 100.0 | 81.8 |
| Cohere | Aya Expanse 32B | 8.5 | 91.5 | 99.9 | 81.9 |
| IBM | Granite-3.1-8B-Instruct | 8.6 | 91.4 | 100.0 | 107.4 |
| Mistral | Mistral-Small2 | 8.6 | 91.4 | 100.0 | 74.2 |
| IBM | Granite-3.2-8B-Instruct | 8.7 | 91.3 | 100.0 | 120.1 |
| IBM | Granite-3.0-2B-Instruct | 8.8 | 91.2 | 100.0 | 81.6 |
| Mistral | Mistral-7B-Instruct-v0.3 | 9.5 | 90.5 | 100.0 | 98.4 |
| Gemini-1.5-Pro | 9.1 | 90.9 | 99.8 | 61.6 | |
| Anthropic | Claude-3-opus | 10.1 | 89.9 | 95.5 | 92.1 |
| Gemma-2-9B-it | 10.1 | 89.9 | 100.0 | 70.2 | |
| Meta | Llama-2-13B-Chat-hf | 10.5 | 89.5 | 99.8 | 82.1 |
| Ai2 | AllenAI-OLMo-2-13B-Instruct | 10.8 | 89.2 | 100.0 | 82 |
| Ai2 | AllenAI-OLMo-2-7B-Instruct | 11.1 | 88.9 | 100.0 | 112.6 |
| Mistral | Mistral-Nemo-Instruct | 11.2 | 88.8 | 100.0 | 69.9 |
| Meta | Llama-2-7B-Chat-hf | 11.3 | 88.7 | 99.6 | 119.9 |
| Microsoft | WizardLM-2-8x22B | 11.7 | 88.3 | 99.9 | 140.8 |
| Cohere | Aya Expanse 8B | 12.2 | 87.8 | 99.9 | 83.9 |
| Amazon | Titan-Express | 13.5 | 86.5 | 99.5 | 98.4 |
| PaLM-2 | 14.1 | 85.9 | 99.8 | 86.6 | |
| DeekSeek | DeepSeek-R1 | 14.3 | 85.7 | 1.0 | 77.1 |
| Gemma-7B-it | 14.8 | 85.2 | 100.0 | 113 | |
| IBM | Granite-3.1-2B-Instruct | 15.7 | 84.3 | 100.0 | 107.7 |
| Qwen | Qwen2.5-1.5B-Instruct | 15.8 | 84.2 | 100.0 | 70.7 |
| Qwen | Qwen-QwQ-32B-Preview | 16.1 | 83.9 | 100.0 | 201.5 |
| Anthropic | Claude-3-sonnet | 16.3 | 83.7 | 100.0 | 108.5 |
| IBM | Granite-3.2-2B-Instruct | 16.5 | 83.5 | 100.0 | 117.7 |
| Gemma-1.1-7B-it | 17.0 | 83.0 | 100.0 | 64.3 | |
| Anthropic | Claude-2 | 17.4 | 82.6 | 99.3 | 87.5 |
| Flan-T5-large | 18.3 | 81.7 | 99.3 | 20.9 | |
| Mistral | Mistral-8x7B-Instruct-v0.1 | 20.1 | 79.9 | 99.9 | 90.7 |
| Meta | Llama-3.2-1B-Instruct | 20.7 | 79.3 | 100.0 | 71.5 |
| Apple | OpenELM-3B-Instruct | 24.8 | 75.2 | 99.3 | 47.2 |
| Qwen | Qwen2.5-0.5B-Instruct | 25.2 | 74.8 | 100.0 | 72.6 |
| Gemma-1.1-2B-it | 27.8 | 72.2 | 100.0 | 66.8 | |
| TII | falcon-7B-instruct | 29.9 | 70.1 | 90.0 | 75.5 |
| منبع: وکتارا | |||||
گروه‌های هوش مصنوعی بر این رویکرد «مبتنی» تمرکز کرده‌اند تا بهترین روش‌ها را برای به حداقل رساندن توهمات بیابند.
یکی از تکنیک‌های رایج مورد استفاده توسط آزمایشگاه‌ها، تولید با بازیابی تقویت‌شده (RAG) نام دارد که اطلاعات را از منابع خارجی جستجو می‌کند و می‌توان از آن برای راستی‌آزمایی ادعاهای مطرح شده توسط سیستم‌های هوش مصنوعی استفاده کرد.
چت‌بات‌های شرکت‌هایی مانند کوهیر، میسترال، گوگل دیپ‌مایند، اوپن‌ای‌آی و انتروپیک، منابع ارجاعی را ارائه می‌دهند که به کاربران نشان می‌دهد متن تولید شده بر اساس کدام منابع استوار است.
در ژانویه، استارتاپ هوش مصنوعی فرانسوی میسترال یک قرارداد چند میلیون یورویی با خبرگزاری فرانسه امضا کرد تا هزاران مقاله این خبرگزاری را در چت‌بات خود بگنجاند و به راستی‌آزمایی آن کمک کند.
هم میسترال و هم گروه هوش مصنوعی کانادایی کوهیر نیز به مدل‌های خود اجازه می‌دهند تا به منابع داده داخلی مشتریانشان متصل شوند، که به آن‌ها امکان می‌دهد برای راستی‌آزمایی به اسناد داخلی مراجعه کنند. به این ترتیب، مدل بر اساس زمینه و اطلاعاتی که مشتریان می‌خواهند پردازش کند، مبنا قرار می‌گیرد.
الکساندر سابلارولز، که رهبری کار بر روی عامل‌ها و RAG در میسترال را بر عهده دارد، گفت: «اگر می‌خواهید مدل توهم نداشته باشد و بسیار دقیق باشد؟... بهترین راه این است که آن را به پایگاه‌های داده داخلی متصل کنید.»
بایرون کوک، معاون و دانشمند در خدمات وب آمازون، معتقد است که اعمال منطق و استدلال ریاضیاتی نیز می‌تواند به حداقل رساندن توهمات کمک کند.
این امر گروه را واداشت تا در ماه دسامبر یک محافظ جدید به نام بررسی‌های استدلال خودکار را معرفی کند که به عنوان یک آزمایش اضافی توسط مدل‌های آن برای اعتبارسنجی دقت پاسخ‌هایش عمل می‌کند.
برخی شرکت‌ها، مانند گوگل دیپ‌مایند، کوهیر، میسترال و وکتارا، همچنین از مدل‌های زبان «ارزیاب» کوچک‌تر استفاده می‌کنند که به طور خاص برای بررسی خروجی‌های یک مدل زبان دیگر از نظر خطا آموزش دیده‌اند.
بیشتر مدل‌ها گزینه‌ای برای توسعه‌دهندگان دارند تا به اصطلاح «دما» (temperature) یا میزان تصادفی بودن تولید کلمه بعدی احتمالی توسط مدل را تغییر دهند.
اما حتی دقیق‌ترین راه‌حل‌های فنی نیز صداقت کامل را تضمین نمی‌کنند، گفت نیک فراست، یکی از بنیانگذاران کوهیر.
فراست گفت: «اینطور نیست که ما بتوانیم مدلی را آموزش دهیم تا فقط چیزهای واقعی بگوید، زیرا واقعیت به آنچه در جهان می‌گذرد وابسته است. و این در حال تغییر است و در برخی موقعیت‌ها به دیدگاه خود شما بستگی دارد.»
عوض‌الله از وکتارا گفت که اجازه دادن به مدل‌های هوش مصنوعی برای جستجو در اینترنت برای اطلاعات، آن‌ها را مستعد حمله‌ای به نام تزریق پرامپت (prompt injection) نیز می‌کند.
این حالتی است که شخص ثالث می‌تواند اطلاعات غلط را در مکان‌هایی که مدل‌های زبان بزرگ اطلاعات خود را بررسی می‌کنند، مانند وب‌سایت‌ها، ردیت یا ویکی‌پدیا، وارد کند. این اطلاعات سپس می‌تواند باعث شود مدل هوش مصنوعی اطلاعات غلط را به عنوان واقعیت ارائه دهد، یا از محدودیت‌های خود صرف نظر کرده و «بدرفتاری» کند.
هنگامی که گوگل سال گذشته ابزار جستجوی هوش مصنوعی جدید خود را راه‌اندازی کرد، به کاربران گفت که چسب روی پیتزا بگذارند و سنگ بخورند، پس از اینکه کسی به شوخی آن را در ردیت منتشر کرده بود.
بخشی از چالش برای توسعه‌دهندگان هوش مصنوعی، رسیدن به تعادلی بین راستی‌آزمایی اطلاعات برای دقت و توانایی مدل در «خلاق بودن» است.
گوگل دیپ‌مایند گفت: «گنجاندن خلاقیت در مدل‌ها، آن‌ها را مفیدتر می‌کند، اما می‌تواند منجر به پاسخ‌های خلاقانه‌تر، به جای واقعی، نیز شود.»
کوک از AWS خاطرنشان کرد که توهمات گاهی اوقات می‌توانند توسط کاربران «مطلوب» باشند.
کوک گفت: «اگر می‌خواهید با آن‌ها شعر بنویسید، پس این خیلی خوب است. شما به دنبال پاسخ‌های عجیب و غریبی هستید که ارتباطات عجیب و غریبی بین چیزها پیدا کنند. و این چیزی است که مدل‌های ترانسفورمر در آن واقعا خوب هستند.»
فراست از کوهیر هشدار داد که حتی اصطلاح توهم نیز گمراه‌کننده است. او گفت: «این بیش از حد شبیه به نحوه کار مغز انسان به نظر می‌رسد، و اینطور نیست. این به روشی کاملا متفاوت کار می‌کند.»