محتوای تولید شده توسط هوش مصنوعی، از تصاویر غیرقانونی مواد سوء استفاده جنسی از کودکان گرفته تا دیپ فیک های سیاسی گمراه کننده، اینترنت را آلوده کرده است و کوین گائو، مدیرعامل Hive، معتقد است که سیستم های تعدیل محتوای شرکتش یک "آنتی ویروس مدرن" است.
سیستم های Hive که توسط پلتفرم های رسانه های اجتماعی مانند Reddit و Bluesky مورد استفاده قرار می گیرند، از مدل های یادگیری ماشینی برای پرچم گذاری محتوای مضر استفاده می کنند. اکنون این استارتاپ به لطف مشارکت جدید با بنیاد دیده‌بان اینترنت (IWF)، یک سازمان غیرانتفاعی ایمنی کودکان مستقر در بریتانیا، که Hive روز پنجشنبه اعلام کرد، بهتر می تواند مواد سوء استفاده جنسی از کودکان را شناسایی و از وب سایت های مشتریان خود حذف کند.
Hive مجموعه داده های سازمان، که شامل یک لیست به روز شده از حدود 8000 وب سایت است که میزبان تصاویر تأیید شده CSAM واقعی و تولید شده توسط هوش مصنوعی هستند را در مدل های خود ادغام خواهد کرد. این مجموعه داده همچنین شامل لیستی از عبارات منحصر به فرد و کلمات کلیدی مبهم است که توسط مجرمان برای پنهان کردن CSAM و دور زدن تعدیل استفاده می شود. به عنوان بخشی از این معامله، مشتریان Hive می توانند به "هش ها" IWF - اثر انگشت دیجیتالی میلیون ها تصویر و ویدیوی شناخته شده CSAM - دسترسی پیدا کنند. این مشارکت بر همکاری Hive در سال 2024 با Thorn، یک سازمان غیرانتفاعی ملی که فناوری تشخیص CSAM را می سازد، برای گسترش دامنه خود و پاکسازی محتوای متخلف بیشتر از پلتفرم های مشتریان خود، ساخته شده است.
هدف این مشارکت جدید جلوگیری از سیل تصاویر سوء استفاده جنسی از کودکان تولید شده توسط هوش مصنوعی است که مجرمان ده ها هزار مورد از آن را در سال 2024 ایجاد کردند. ابزارهای هوش مصنوعی مولد فقط تولید تصاویر غیرقانونی را آسان تر کرده اند. در سال 2023، IWF بیش از 275000 صفحه وب حاوی CSAM را به مجریان قانون گزارش کرد که یک عدد رکورد برای این سازمان است.
گائو به فوربس گفت: "CSAM قبلاً به دست آوردنش نسبتاً دشوار بود. محتوا چندان رایج نیست. این موتورهای تولید هوش مصنوعی، هم تصویر و هم ویدیو، دنیای بسیار متفاوتی را با انفجار محتوا باز می کنند."
Hive که در سال 2014 به عنوان یک برنامه رسانه های اجتماعی تأسیس شد، در سال 2017 به فروش ابزارهای تعدیل داخلی خود به شرکت ها روی آورد. اکنون، علاوه بر شناسایی محتوای سمی، مدل های هوش مصنوعی این شرکت می توانند آرم ها را نیز شناسایی کنند، ده ها هزار سلبریتی را تشخیص دهند و نسخه های فیلم ها و برنامه های تلویزیونی را که به صورت آنلاین به اشتراک گذاشته می شوند، تشخیص دهند. این شرکت مستقر در سانفرانسیسکو 120 میلیون دلار سرمایه گذاری خطرپذیر از سوی شرکت هایی مانند جنرال کاتالیست جمع آوری کرده است و در سال 2021 به ارزش 2 میلیارد دلار ارزیابی شد.
شیوع گسترده محتوای تولید شده توسط هوش مصنوعی به رشد کسب و کار برای Hive تبدیل شده است، جایی که درآمد از سال 2020، 30 برابر شده است (گائو از افشای ارقام فعلی خودداری کرد). این شرکت هر ماه 10 میلیارد قطعه محتوا از 400 مشتری خود پردازش می کند، که شامل پلتفرم های رسانه های اجتماعی مانند پلتفرم استریم Kick، که حدود 50 میلیون کاربر دارد، و پنتاگون می شود. ماه گذشته، Hive قراردادی 2.4 میلیون دلاری با وزارت دفاع ایالات متحده برای اطمینان از واقعی و قابل اعتماد بودن محتوای صوتی، تصویری و متنی که کارکنان آن از منابع مختلف دریافت می کنند، منعقد کرد.
همچنین علاقه فزاینده ای از سوی شرکت های تأیید اسناد و شرکت های بیمه وجود دارد که از هجوم ادعاهای جعلی گزارش داده اند، "جایی که افراد از سپر خودروی خود عکس گرفته اند و هوش مصنوعی یک خراش ایجاد کرده است." گائو گفت.
اخیراً به دنبال ممنوعیت TikTok، پلتفرم های جایگزین مانند Clapper و Favorited برای سیستم های تعدیل محتوای خودکار Hive ثبت نام کردند تا برای هجوم "پناهندگان TikTok" آماده شوند، گائو گفت. "آنها همچنین به طور فعال در حال ورود به پیشنهادات CSAM ما هستند، زیرا آنها بسیار می ترسند که این موضوع به یک موضوع مهم تبدیل شود."
گائو نگران رویکرد غیر مداخله جویانه رئیس جمهور دونالد ترامپ در تنظیم هوش مصنوعی نیست. گائو گفت: حتی با وجود اینکه او دستور اجرایی دولت بایدن در مورد هوش مصنوعی را که اقداماتی را برای مقابله با دیپ فیک ها مشخص می کرد، لغو کرده است، ایمنی کودکان آنلاین یک "موضوع کاملاً دو حزبی" است. ما فکر نمی کنیم این بخش از بین برود."