سال گذشته، صندوق ورودی ایمیل ایان لامونت پر از درخواست‌هایی درباره یک فرصت شغلی شد. صاحب شرکت راهنماهای آموزشی در بوستون، هیچ موقعیت جدیدی را باز نکرده بود، اما وقتی وارد لینکدین خود شد، یک آگهی شغلی برای "کارمند ورود اطلاعات" را پیدا کرد که به نام و لوگوی کسب‌وکار او لینک شده بود.
لامونت به زودی متوجه شد که برند او مورد کلاهبرداری قرار گرفته است، که وقتی به پروفایل شخصی برخورد کرد که ادعا می‌کرد "مدیر" شرکت اوست، این موضوع تأیید شد. این حساب کمتر از دوازده ارتباط داشت و چهره‌ای تولید شده با هوش مصنوعی داشت. او روزهای بعد را به هشدار دادن به بازدیدکنندگان سایت شرکتش درباره این کلاهبرداری و متقاعد کردن لینکدین برای حذف پروفایل و آگهی جعلی گذراند. تا آن زمان، بیش از بیست نفر مستقیماً درباره آن شغل با او تماس گرفته بودند و او حدس می‌زند افراد بیشتری نیز درخواست داده بودند.
پتانسیل هوش مصنوعی مولد برای تقویت کسب‌وکارها خیره‌کننده است. بر اساس یک برآورد مک‌کینزی در سال ۲۰۲۳، انتظار می‌رود در سال‌های آینده، این فناوری سالانه ارزش بیشتری به اقتصاد جهانی اضافه کند تا کل تولید ناخالص داخلی بریتانیا. در عین حال، توانایی هوش مصنوعی مولد در تولید تقریباً فوری محتوای معتبر در مقیاس انبوه، پتانسیل مخربی به همان اندازه برای کسب‌وکارها ایجاد کرده است.
از زمان معرفی ChatGPT در سال ۲۰۲۲، کسب‌وکارهای آنلاین مجبور بوده‌اند در یک اقتصاد دیپ‌فیک که به سرعت در حال گسترش است، حرکت کنند؛ جایی که تشخیص اینکه هر متن، تماس یا ایمیلی واقعی است یا کلاهبرداری، به طور فزاینده‌ای دشوار شده است. تنها در یک سال گذشته، کلاهبرداری‌های مبتنی بر هوش مصنوعی مولد چهار برابر شده‌اند، طبق گزارش پلتفرم گزارش کلاهبرداری Chainabuse. در نظرسنجی بیمه Nationwide از صاحبان کسب‌وکارهای کوچک در پاییز گذشته، یک چهارم آنها گزارش دادند که حداقل یک کلاهبرداری هوش مصنوعی را در سال گذشته تجربه کرده‌اند. مایکروسافت می‌گوید اکنون تقریباً ۱.۶ میلیون تلاش ثبت نام مبتنی بر ربات را در هر ساعت مسدود می‌کند. رنه دی‌رستا، که در دانشگاه جرج‌تاون در مورد سوءاستفاده‌های خصمانه آنلاین تحقیق می‌کند، به من می‌گوید که او رونق هوش مصنوعی مولد را "انقلاب صنعتی برای کلاهبرداری‌ها" می‌نامد – زیرا این فناوری، کلاهبرداری‌ها را خودکار می‌کند، موانع ورود را کاهش می‌دهد، هزینه‌ها را کم می‌کند و دسترسی به اهداف را افزایش می‌دهد.
عواقب فریب خوردن در یک کلاهبرداری دستکاری‌شده با هوش مصنوعی می‌تواند ویرانگر باشد. سال گذشته، یک کارمند مالی در شرکت مهندسی آروپ (Arup) به یک تماس ویدیویی پیوست که گمان می‌کرد همکارانش هستند. مشخص شد که هر یک از شرکت‌کنندگان یک بازسازی دیپ‌فیک از یک همکار واقعی بودند، از جمله مدیر ارشد مالی سازمان. کلاهبرداران از کارمند خواستند تا انتقال‌های خارجی به مبلغ بیش از ۲۵ میلیون دلار را تأیید کند، و او با این فرض که درخواست از طرف مدیر ارشد مالی است، تراکنش را تأیید کرد.
بیزینس اینسایدر با متخصصانی در چندین صنعت – از جمله استخدام، طراحی گرافیک، انتشارات، و مراقبت‌های بهداشتی – صحبت کرده است که در تلاشند تا خود و مشتریانشان را در برابر تهدیدات هوش مصنوعی که همیشه در حال تحول هستند، ایمن نگه دارند. بسیاری احساس می‌کنند که در حال انجام یک بازی بی‌پایان "بزن‌موش" هستند، و موش‌ها تنها در حال افزایش و باهوش‌تر شدن هستند.
سال گذشته، کلاهبرداران از هوش مصنوعی برای ساخت یک نسخه فرانسوی‌زبان از فروشگاه آنلاین چاقوهای ژاپنی اویشیا (Oishya) استفاده کردند و پیشنهادات کلاهبرداری خودکار را به بیش از ۱۰,۰۰۰ دنبال‌کننده این شرکت در اینستاگرام ارسال کردند. شرکت جعلی به مشتریان شرکت واقعی گفت که یک چاقوی رایگان برنده شده‌اند و تنها کاری که باید انجام دهند پرداخت هزینه کمی برای حمل و نقل است تا آن را دریافت کنند – و تقریباً ۱۰۰ نفر فریب خوردند. کامیلا هانکیویچ، که ۹ سال است اویشیا را اداره می‌کند، تنها پس از تماس چندین قربانی با او و پرسیدن اینکه چقدر باید منتظر رسیدن بسته باشند، از این کلاهبرداری مطلع شد.
این یک بیداری ناخوشایند برای هانکیویچ بود. او از آن زمان امنیت سایبری شرکت را افزایش داده و اکنون کمپین‌هایی را برای آموزش مشتریان در مورد نحوه تشخیص ارتباطات جعلی اجرا می‌کند. اگرچه بسیاری از مشتریان او از فریب خوردن ناراحت بودند، هانکیویچ به آنها کمک کرد تا گزارش‌هایی را برای بازپرداخت به مؤسسات مالی خود ارائه دهند. او می‌گوید، با وجود تکان‌دهنده بودن این تجربه، "این حادثه در واقع رابطه ما با بسیاری از مشتریان را که رویکرد پیشگیرانه ما را قدردانی کردند، تقویت کرد."
زنگ‌های هشدار او واقعاً زمانی به صدا درآمد که مصاحبه‌کننده از او خواست گواهینامه رانندگی خود را به اشتراک بگذارد.
راب دانکن، معاون رئیس استراتژی در شرکت امنیت سایبری نت‌کرافت (Netcraft)، از افزایش حملات فیشینگ هدفمند علیه کسب‌وکارهای کوچک مانند اویشیا شگفت‌زده نیست. او می‌گوید ابزارهای هوش مصنوعی مولد اکنون حتی به یک گرگ تنها مبتدی با دانش فنی کم نیز اجازه می‌دهند تا تصویر یک برند را شبیه‌سازی کند و پیام‌های کلاهبرداری بی‌عیب و نقص و قانع‌کننده را در عرض چند دقیقه بنویسید. دانکن می‌گوید، با ابزارهای ارزان، "مهاجمان می‌توانند به راحتی کارمندان را جعل هویت کنند، مشتریان را فریب دهند یا شرکا را در چندین کانال تقلید کنند."
اگرچه ابزارهای اصلی هوش مصنوعی مانند ChatGPT هنگام درخواست برای نقض کپی‌رایت اقدامات احتیاطی دارند، اما اکنون بسیاری از خدمات آنلاین رایگان یا ارزان‌قیمت وجود دارند که به کاربران امکان می‌دهند وب‌سایت یک کسب‌وکار را با دستورات متنی ساده کپی کنند. با استفاده از ابزاری به نام Llama Press، توانستم تقریباً یک کلون دقیق از فروشگاه هانکیویچ تولید کنم و آن را با چند کلمه دستورالعمل شخصی‌سازی کنم. (کدی کندال، بنیانگذار Llama Press، می‌گوید کلون کردن یک فروشگاه مانند اویشیا یک بلوک ایمنی را فعال نمی‌کند زیرا دلایل مشروعی برای انجام این کار وجود دارد، مانند زمانی که یک صاحب کسب‌وکار در تلاش است وب‌سایت خود را به یک پلتفرم میزبانی جدید منتقل کند. او اضافه می‌کند که Llama Press برای از بین بردن درخواست‌های بدخواهانه به کنترل‌های ایمنی داخلی Anthropic و OpenAI متکی است.)
متن تنها یکی از جبهه‌های جنگی است که کسب‌وکارها در برابر سوءاستفاده‌های مخرب از هوش مصنوعی با آن می‌جنگند. با جدیدترین ابزارها، فقط یک ساعت طول می‌کشد تا یک مهاجم تنها – باز هم بدون تخصص فنی – یک نامزد شغلی جعلی قانع‌کننده برای شرکت در مصاحبه ویدیویی ایجاد کند.
تاتیانا بکر، یک استخدام‌کننده فناوری مستقر در نیویورک، به من می‌گوید که نامزدهای شغلی دیپ‌فیک به یک "همه‌گیری" تبدیل شده‌اند. در چند سال گذشته، او مجبور شده است مکرراً متقاضیان کلاهبرداری را که از آواتارهای دیپ‌فیک برای تقلب در مصاحبه‌ها استفاده می‌کنند، رد کند. در این مرحله، او قادر به تشخیص برخی از نشانه‌های بارز جعلی بودن آنهاست، از جمله کیفیت ویدیوی نامنظم و امتناع نامزد از تغییر هر عنصری از ظاهر خود در طول تماس، مانند برداشتن هدفون. اکنون، در ابتدای هر مصاحبه از متقاضیان شناسه می‌خواهد و سوالات بازتری می‌پرسد، مانند اینکه در اوقات فراغت خود چه کاری دوست دارند انجام دهند، تا مطمئن شود که آنها انسان هستند. طنزآمیز اینکه، او خود در ابتدای مصاحبه‌ها رباتیک‌تر شده تا ربات‌ها را شناسایی کند.
نیکول یلند، مدیر روابط عمومی، می‌گوید او اوایل امسال خود را در مقابل دیپ‌فیک یافت. یک کلاهبردار با جعل هویت یک استخدام‌کننده استارتاپ از طریق ایمیل به او نزدیک شد و گفت که به دنبال یک رئیس بخش ارتباطات است، با بسته پیشنهادی که شامل حقوق و مزایای سخاوتمندانه بود. فرد ادعایی حتی یک ارائه جامع، تزئین شده با تصاویر تولید شده توسط هوش مصنوعی، را با او به اشتراک گذاشت که مسئولیت‌ها و مزایای نقش را تشریح می‌کرد. او که وسوسه شده بود، یک مصاحبه برنامه‌ریزی کرد.
با این حال، در طول جلسه ویدیویی، "مدیر استخدام" از صحبت کردن امتناع کرد و در عوض از یلند خواست که پاسخ‌های خود را به سوالات کتبی در بخش چت مایکروسافت تیمز تایپ کند. زنگ‌های هشدار او واقعاً زمانی به صدا درآمد که مصاحبه‌کننده شروع به درخواست از او برای به اشتراک گذاشتن یک سری اسناد خصوصی، از جمله گواهینامه رانندگی‌اش، کرد.
یلند اکنون قبل از تعامل با هر غریبه‌ای آنلاین، یک بررسی سوابق با ابزارهایی مانند Spokeo انجام می‌دهد. او می‌گوید: "این آزاردهنده است و زمان بیشتری می‌برد، اما تعامل با یک اسپمر آزاردهنده‌تر و زمان‌برتر است؛ بنابراین اینجایی است که ما هستیم."
در حالی که پلتفرم‌های کنفرانس ویدیویی مانند تیمز و زوم در تشخیص حساب‌های تولید شده توسط هوش مصنوعی بهتر می‌شوند، برخی کارشناسان می‌گویند که خود تشخیص خطر ایجاد یک چرخه معیوب را دارد. جاسون کیسی، مدیرعامل Beyond Identity، یک شرکت امنیت سایبری که در زمینه سرقت هویت تخصص دارد، می‌گوید داده‌هایی که این پلتفرم‌ها در مورد آنچه جعلی است جمع‌آوری می‌کنند، در نهایت برای آموزش مدل‌های هوش مصنوعی مولد پیچیده‌تر استفاده می‌شوند، که به آنها کمک می‌کنند در فرار از ردیاب‌های جعلی بهتر شوند و "یک مسابقه تسلیحاتی را که مدافعان نمی‌توانند برنده شوند" تغذیه کنند. کیسی و شرکتش معتقدند که تمرکز باید بر احراز هویت شخص باشد. Beyond Identity ابزارهایی را می‌فروشد که می‌توانند به زوم متصل شوند و شرکت‌کنندگان جلسه را از طریق بیومتریک دستگاه و داده‌های مکانی آنها تأیید کنند. اگر مغایرت تشخیص داده شود، این ابزارها فید ویدیوی شرکت‌کنندگان را به عنوان "تأیید نشده" برچسب‌گذاری می‌کنند. ترامرر فلوریان، استاد علوم کامپیوتر در ETH زوریخ، موافق است که احراز هویت احتمالاً برای اطمینان از اینکه همیشه با یک همکار واقعی صحبت می‌کنید، ضروری‌تر خواهد شد.
اکنون تنها نامزدهای شغلی جعلی نیستند که کارآفرینان باید با آنها دست و پنجه نرم کنند، بلکه نسخه‌های جعلی از خودشان نیز هستند. در اواخر سال ۲۰۲۴، کلاهبرداران تبلیغاتی را در فیس‌بوک برای ویدیویی با حضور جاناتان شاو، معاون مدیر موسسه قلب و دیابت بیکر در ملبورن، منتشر کردند. اگرچه فرد درون ویدیو دقیقاً شبیه دکتر شاو به نظر می‌رسید و صحبت می‌کرد، اما صدای او دیپ‌فیک شده و ویرایش شده بود تا بگوید متفورمین – یک درمان خط اول برای دیابت نوع ۲ – "خطرناک" است و بیماران باید به جای آن به یک مکمل غذایی اثبات‌نشده روی آورند. تبلیغ جعلی با یک مصاحبه خبری کتبی جعلی با شاو همراه بود.
چندین بیمار کلینیک او، با اعتقاد به اینکه ویدیو واقعی است، تماس گرفتند و پرسیدند چگونه می‌توانند مکمل را تهیه کنند. شاو به من می‌گوید: "یکی از بیماران قدیمی‌ام از من پرسید چرا من همچنان برای او متفورمین تجویز می‌کنم، در حالی که 'من' در ویدیو گفته بودم که داروی بدی است." او در نهایت توانست فیس‌بوک را متقاعد کند که ویدیو را حذف کند.
سپس مسئله به همان اندازه آزاردهنده و کلافه‌کننده "محتوای بی‌کیفیت هوش مصنوعی" (AI slop) وجود دارد – هجوم تصاویر و متون بی‌کیفیت و تولید انبوه که اینترنت را پر کرده و تشخیص اینکه چه چیزی واقعی است یا جعلی را برای افراد عادی دشوارتر می‌کند. در تحقیقات دی‌رستا، او مواردی را یافت که موتورهای توصیه پلتفرم‌های اجتماعی، محتوای بی‌کیفیت مخرب را تبلیغ کرده‌اند – جایی که کلاهبرداران تصاویر اقلامی مانند املاک اجاره‌ای، لوازم خانگی و موارد دیگر را که وجود خارجی نداشتند، منتشر می‌کردند و کاربران به کرات فریب می‌خوردند و اطلاعات پرداخت خود را لو می‌دادند.
در پینترست، پست‌های "الهام‌بخش" تولید شده توسط هوش مصنوعی، تابلوی الهام‌بخش افراد را پر کرده‌اند – تا حدی که شیرینی‌فروشی کیک لایف (Cake Life Shop) در فیلادلفیا اکنون اغلب سفارشاتی از مشتریان دریافت می‌کند که از آنها می‌خواهند کیک‌هایی را بازسازی کنند که در واقع کیک‌های تولید شده توسط هوش مصنوعی هستند. در یکی از مواردی که با بیزینس اینسایدر به اشتراک گذاشته شد، کیک شبیه یک جنگل بارانی پر از خزه است و دارای یک آبشار عملکردی است. خوشبختانه برای نیما اعتمادی، یکی از بنیان‌گذاران این شیرینی‌فروشی، بیشتر مشتریان "پذیرا هستند تا پس از اینکه حباب هوش مصنوعی آنها را ترکاندیم، درباره آنچه با یک کیک واقعی ممکن است بشنوند"، می‌گوید.
به طور مشابه، کتاب‌های تولید شده توسط هوش مصنوعی آمازون را فراگرفته‌اند و اکنون به فروش ناشران آسیب می‌رسانند.
پائولین فرومر، رئیس ناشر راهنمای سفر فرومر مدیا (Frommer Media)، می‌گوید که راهنماهای سفر تولید شده توسط هوش مصنوعی توانسته‌اند با کمک بررسی‌های جعلی به بالای لیست‌ها برسند. یک ناشر هوش مصنوعی چند عضویت پرایم می‌خرد، قیمت کتاب الکترونیکی راهنما را صفر تعیین می‌کند و سپس با دانلود نسخه‌های رایگان آن، "بررسی‌های تأیید شده" به ظاهر معتبر را ثبت می‌کند. او می‌گوید این اقدامات "عملاً ورود یک برند جدید و قانونی از راهنمای سفر را به این صنعت در حال حاضر غیرممکن می‌کند." ایان لامونت می‌گوید سال گذشته یک راهنمای سفر تولید شده توسط هوش مصنوعی را به عنوان هدیه دریافت کرده است: یک راهنمای سفر فقط متنی برای تایوان، بدون عکس یا نقشه.
در حالی که FTC اکنون انتشار بررسی‌های جعلی محصول که توسط هوش مصنوعی تولید شده‌اند را غیرقانونی می‌داند، سیاست‌های رسمی هنوز به محتوای تولید شده توسط هوش مصنوعی خود نرسیده‌اند. پلتفرم‌هایی مانند پینترست و گوگل شروع به واترمارک و برچسب‌گذاری پست‌های تولید شده توسط هوش مصنوعی کرده‌اند، اما از آنجایی که این کار هنوز بدون خطا نیست، برخی نگرانند که این اقدامات ممکن است بیشتر ضرر داشته باشند تا منفعت. دی‌رستا نگران است که یک پیامد ناخواسته احتمالی برچسب‌گذاری فراگیر هوش مصنوعی، تجربه "خستگی از برچسب" در افراد باشد، جایی که آنها کورکورانه فرض می‌کنند محتوای بدون برچسب همیشه "واقعی" است. او می‌گوید: "این یک فرض بالقوه خطرناک است اگر یک دستکار پیچیده، مانند سرویس اطلاعاتی یک کشور، بتواند محتوای اطلاعات نادرست را از یک برچسب‌گذار عبور دهد."
در حال حاضر، رابین پوگ، مدیر اجرایی Intelligence for Good، یک سازمان غیرانتفاعی که به قربانیان جرایم اینترنتی کمک می‌کند، می‌گوید که صاحبان کسب‌وکارهای کوچک باید هوشیار بمانند. آنها همیشه باید تأیید کنند که با یک انسان واقعی سروکار دارند و پولی که ارسال می‌کنند واقعاً به جایی که قصد دارند، می‌رسد.
اعتمادی از شیرینی‌فروشی کیک لایف اذعان می‌کند که هوش مصنوعی مولد به همان اندازه که می‌تواند به کسب‌وکار او در افزایش کارایی کمک کند، کلاهبرداران نیز از همان ابزارها برای افزایش کارایی خود استفاده خواهند کرد. او می‌گوید: "انجام تجارت آنلاین هر سال ضروری‌تر و پرخطرتر می‌شود. هوش مصنوعی فقط بخشی از آن است."
شوبهام آگاروال یک روزنامه‌نگار فناوری آزاد از احمدآباد، هند است که آثارش در Wired، The Verge، Fast Company و نشریات دیگر منتشر شده است.
داستان‌های "بحث" بیزینس اینسایدر دیدگاه‌هایی را در مورد مهمترین مسائل روز ارائه می‌دهند که با تحلیل، گزارش و تخصص همراه هستند.