Claimify: استخراج ادعاهای با کیفیت بالا از خروجیهای مدل زبانی
نویسنده: داشا متروپولیتانسکیتاریخ انتشار: 2025-03-19منتشر شده در: Microsoft Research Blog
ترجمه و بازنویسی هوشمند از microsoft research blog
در یک نگاهچکیدهٔ خودکار موتور هوش مصنوعی افق آبی
Claimify یک روش جدید مبتنی بر مدلهای زبانی بزرگ (LLM) است که به منظور استخراج ادعاهای باکیفیت از خروجیهای مدلهای زبانی طراحی شده است. این روش با هدف بهبود صحت بررسی مطالب منتشر شده ایجاد شده است، زیرا مدلهای زبانی گاهی اطلاعات نادرست یا اثباتنشده تولید میکنند. Claimify نقاط ضعف روشهای قبلی را برطرف میکند؛ مانند ارائه ادعاهای ناقص، نادرست یا بدون زمینه کافی. با استفاده از اصول خاصی، این سیستم تلاش میکند تا با جداسازی جملات، انتخاب ادعاهای قابل تأیید، رفع ابهام و تجزیه دقیق، ادعاهایی قابل اعتباریابی و مستقل تولید کند. نتایج نشان میدهد که ۹۹٪ از ادعاهای استخراج شده توسط Claimify، توسط جملات منبع تائید میشوند و این روش با حفظ توازن بین شاملکردن محتوای قابلاعتبار و حذف محتوای غیرقابلاعتبار، دقت بالایی در استخراج ادعا دارد. Claimify نه تنها از ایجاد ادعاهای نادرست جلوگیری میکند، بلکه از انتقادات متداول به روشهای مشابه نیز عبور میکند، با برنامههایی برای ارتقاء و سازگاری آن با متون مختلف، به ویژه مقالات علمی. این فناوری میتواند به عنوان ورودی دقیق برای ابزارهای بررسی صحت مورد استفاده قرار گیرد، در حالی که بهبود و توسعه بیشتر در راستای پوشش گستردهتر در آینده در نظر گرفته شده است.
در حالی که مدلهای زبانی بزرگ (LLM) قادر به سنتز مقادیر عظیمی از اطلاعات هستند، گاهی اوقات محتوای نادرست یا اثبات نشده تولید میکنند. برای کاهش این خطر، ابزارهایی مانند تشخیص обоснованность هوش مصنوعی Azure میتوانند برای تأیید خروجیهای LLM استفاده شوند.
یک استراتژی رایج برای بررسی صحت متون تولید شده توسط LLM - به ویژه خروجیهای پیچیده و بسیار دقیق - استخراج ادعا است: به جای ارزیابی کل متن به طور همزمان، به عبارات واقعی ساده تقسیم میشود که میتوانند به طور مستقل تأیید شوند. با این حال، اثربخشی این رویکرد بستگی به کیفیت ادعاهای استخراج شده دارد: اگر نادرست یا ناقص باشند، نتایج بررسی صحت ممکن است به خطر بیفتد.
مقاله ما با عنوان "به سوی استخراج و ارزیابی موثر ادعاهای واقعی" یک چارچوب برای ارزیابی استخراج ادعا پیشنهاد میکند و Claimify را معرفی میکند، یک روش جدید مبتنی بر LLM که از راه حلهای قبلی بهتر عمل میکند. در این پست وبلاگ، مسائل رایج استخراج ادعا را مورد بحث قرار میدهیم و رویکرد Claimify را بررسی میکنیم.
مسائل کلیدی در استخراج ادعا
به عنوان یک مطالعه موردی، از مدل GPT-4o OpenAI درخواست کردیم تا بر اساس مجموعهای از مقالات خبری، "مروری بر چالشها در بازارهای نوظهور" ارائه دهد. در اینجا خروجی آن آمده است: