حدود اوایل سال گذشته، متیو پرینس تماس‌های نگران‌کننده‌ای از مدیران عامل شرکت‌های بزرگ رسانه‌ای دریافت کرد. آنها به آقای پرینس که شرکتش، کلودفلر (Cloudflare)، زیرساخت‌های امنیتی حدود یک‌پنجم وب را فراهم می‌کند، گفتند که کسب‌وکارهایشان با تهدیدی جدی و جدید در فضای آنلاین مواجه هستند. او به یاد می‌آورد: «گفتم، 'چی، کره‌شمالی‌ها هستند؟' و آنها گفتند، 'نه. هوش مصنوعی است.'»
آن مدیران اجرایی نشانه‌های اولیه یک روند را مشاهده کرده بودند که از آن زمان آشکار شده است: هوش مصنوعی در حال تغییر نحوه ناوبری مردم در وب است. هنگامی که کاربران پرسش‌های خود را به جای موتورهای جستجوی سنتی از چت‌بات‌ها مطرح می‌کنند، پاسخ دریافت می‌کنند، نه لینک‌هایی برای دنبال کردن. نتیجه این است که ناشران «محتوا»، از ارائه‌دهندگان اخبار و انجمن‌های آنلاین گرفته تا سایت‌های مرجع مانند ویکی‌پدیا، افت نگران‌کننده‌ای در ترافیک خود مشاهده می‌کنند.
همانطور که هوش مصنوعی نحوه مرور وب را تغییر می‌دهد، توافق اقتصادی در قلب اینترنت را نیز دگرگون می‌کند. ترافیک انسانی مدت‌هاست که از طریق تبلیغات آنلاین درآمدزایی می‌شده است؛ اکنون آن ترافیک در حال خشک شدن است. تولیدکنندگان محتوا به شدت در تلاشند تا راه‌های جدیدی برای وادار کردن شرکت‌های هوش مصنوعی به پرداخت هزینه برای اطلاعاتشان پیدا کنند. اگر نتوانند، وب باز ممکن است به چیزی بسیار متفاوت تکامل یابد.
از زمان راه‌اندازی ChatGPT در اواخر سال ۲۰۲۲، مردم روش جدیدی برای جستجوی اطلاعات آنلاین در پیش گرفته‌اند. OpenAI، سازنده ChatGPT، می‌گوید حدود ۸۰۰ میلیون نفر از این چت‌بات استفاده می‌کنند. این پرطرفدارترین دانلود در فروشگاه اپلیکیشن آیفون است. اپل اعلام کرد که جستجوهای سنتی در مرورگر وب سافاری (Safari) برای اولین بار در ماه آوریل کاهش یافته است، زیرا مردم سوالات خود را به جای آن از هوش مصنوعی می‌پرسیدند. انتظار می‌رود OpenAI به زودی مرورگر خود را نیز راه‌اندازی کند. رشد آن آنقدر چشمگیر است که یک اقتباس هالیوودی نیز در دست ساخت است.
همزمان با اوج‌گیری OpenAI و سایر نوپاها، گوگل، که حدود ۹۰ درصد از بازار جستجوی سنتی در آمریکا را در اختیار دارد، ویژگی‌های هوش مصنوعی را به موتور جستجوی خود اضافه کرده تا عقب نماند. سال گذشته این شرکت شروع به قرار دادن «مرور کلی» (overviews) تولیدشده توسط هوش مصنوعی قبل از برخی نتایج جستجو کرد که از آن زمان فراگیر شده‌اند. در ماه مه، «حالت هوش مصنوعی» (AI mode) را راه‌اندازی کرد، نسخه‌ای شبیه چت‌بات از موتور جستجوی خود. این شرکت قول می‌دهد که با هوش مصنوعی، کاربران می‌توانند «اجازه دهند گوگل جستجو را برای شما انجام دهد.»
با این حال، زمانی که گوگل جستجو را انجام می‌دهد، انسان‌ها دیگر از وب‌سایت‌هایی که اطلاعات از آنها استخراج می‌شود، بازدید نمی‌کنند. سیمیلاروب (Similarweb)، که ترافیک بیش از ۱۰۰ میلیون دامنه وب را اندازه‌گیری می‌کند، تخمین می‌زند که ترافیک جستجوی جهانی (توسط انسان) در سال منتهی به ژوئن حدود ۱۵ درصد کاهش یافته است. اگرچه برخی دسته‌ها، مانند سایت‌های مربوط به سرگرمی‌ها، وضعیت خوبی دارند، اما برخی دیگر به شدت آسیب دیده‌اند (به نمودار مراجعه کنید). بسیاری از آسیب‌دیده‌ترین سایت‌ها دقیقاً از همان نوعی هستند که معمولاً به پرسش‌های جستجو پاسخ می‌دادند. سایت‌های علمی و آموزشی ۱۰ درصد از بازدیدکنندگان خود را از دست داده‌اند. سایت‌های مرجع ۱۵ درصد و سایت‌های بهداشتی ۳۱ درصد کاهش بازدید داشته‌اند.
برای شرکت‌هایی که تبلیغات یا اشتراک می‌فروشند، از دست دادن بازدیدکننده به معنای از دست دادن درآمد است. نیل ووگل (Neil Vogel)، رئیس دات‌دش مردیث (Dotdash Meredith)، که مالک عناوینی مانند پیپل (People) و فود اند واین (Food & Wine) است، می‌گوید: «ما برای مدت طولانی رابطه بسیار مثبتی با گوگل داشتیم... آنها این توافق را زیر پا گذاشتند.» سه سال پیش، سایت‌های این شرکت بیش از ۶۰ درصد از ترافیک خود را از گوگل دریافت می‌کردند. اکنون این رقم به اواسط دهه ۳۰ رسیده است. آقای ووگل می‌گوید: «آنها محتوای ما را برای رقابت با ما سرقت می‌کنند.» گوگل اصرار دارد که استفاده‌اش از محتوای دیگران منصفانه است. اما سیمیلاروب تخمین می‌زند از زمانی که گوگل «مرورهای کلی هوش مصنوعی» (AI overviews) خود را راه‌اندازی کرده، سهم جستجوهای مرتبط با اخبار که منجر به عدم کلیک بعدی می‌شوند، از ۵۶ درصد به ۶۹ درصد افزایش یافته است. به عبارت دیگر، هفت نفر از هر ده نفر پاسخ خود را بدون بازدید از صفحه‌ای که آن را فراهم کرده، دریافت می‌کنند.
پرشانت چاندراسکار (Prashanth Chandrasekar)، مدیرعامل استک‌اورفلو (Stack Overflow) که بیشتر به عنوان یک انجمن آنلاین برای برنامه‌نویسان شناخته می‌شود، می‌گوید: «طبیعت اینترنت به کلی تغییر کرده است.» او می‌گوید: «هوش مصنوعی اساساً در حال مسدود کردن ترافیک به بیشتر سایت‌های محتوا است.» با بازدیدکنندگان کمتر، استک‌اورفلو سوالات کمتری در تالارهای گفت‌وگوی خود مشاهده می‌کند. ویکی‌پدیا، که آن هم توسط علاقه‌مندان اداره می‌شود، هشدار می‌دهد که خلاصه‌های تولید شده توسط هوش مصنوعی بدون ارجاع، «مسیرهای دسترسی مردم به سایت و کمک به آن را مسدود می‌کنند.»
برای حفظ ترافیک و درآمد، بسیاری از تولیدکنندگان بزرگ محتوا با شرکت‌های هوش مصنوعی قراردادهای مجوز امضا کرده‌اند که با تهدیدات قانونی همراه بوده است: آنچه رابرت تامسون (Robert Thomson)، مدیرعامل نیوز کورپ (News Corp)، آن را «جلب و شکایت» (wooing and suing) نامیده است. شرکت او، که مالک وال استریت ژورنال (Wall Street Journal) و نیویورک پست (New York Post) و سایر عناوین است، با OpenAI قراردادی منعقد کرده است. دو شرکت تابعه آن در حال شکایت از پرپلکسیتی (Perplexity)، یک موتور پاسخ‌گوی هوش مصنوعی دیگر، هستند. نیویورک تایمز (New York Times) با آمازون قراردادی بسته و در عین حال از OpenAI شکایت کرده است. بسیاری از معاملات و پرونده‌های قضایی دیگر نیز در حال انجام است. (شرکت مادر اکونومیست موضع علنی در مورد اینکه آیا آثار ما را مجوز خواهد داد، نگرفته است.)
با این حال، این رویکرد محدودیت‌هایی دارد. به عنوان مثال، قضات تاکنون تمایل داشته‌اند که به نفع شرکت‌های هوش مصنوعی رأی دهند: ماه گذشته دو پرونده کپی‌رایت جداگانه در کالیفرنیا به نفع متهمین، متا (Meta) و انتروپیک (Anthropic)، به پایان رسید، که هر دو استدلال کردند آموزش مدل‌هایشان بر روی محتوای دیگران استفاده منصفانه (fair use) تلقی می‌شود. به نظر می‌رسد دونالد ترامپ، رئیس‌جمهور سابق، استدلال سیلیکون‌ولی را می‌پذیرد که باید به آن اجازه داده شود تا قبل از چین، به توسعه فناوری آینده بپردازد. او تقویت‌کنندگان فناوری را به عنوان مشاوران هوش مصنوعی منصوب کرده و رئیس دفتر کپی‌رایت آمریکا را بلافاصله پس از اینکه او استدلال کرد آموزش هوش مصنوعی بر روی مطالب دارای حق کپی‌رایت همیشه قانونی نیست، برکنار کرد.
شرکت‌های هوش مصنوعی بیشتر تمایل دارند برای دسترسی مداوم به اطلاعات، نه داده‌های آموزشی، هزینه پرداخت کنند. اما قراردادهای انجام شده تا کنون به سختی چشمگیر هستند. ردیت (Reddit)، یک انجمن آنلاین، محتوای تولید شده توسط کاربران خود را به گوگل با مبلغی گزارش‌شده ۶۰ میلیون دلار در سال مجوز داده است. با این حال، ارزش بازار آن بیش از نصف – بیش از ۲۰ میلیارد دلار – کاهش یافت پس از آنکه در فوریه رشد کاربران کندتر از حد انتظار را گزارش کرد، که ناشی از نوسانات در ترافیک جستجو بود. (رشد از آن زمان از سر گرفته شده و قیمت سهام ردیت مقداری از زمین از دست رفته را جبران کرده است.)
اما مشکل بزرگ‌تر این است که بیشتر صدها میلیون دامنه اینترنت برای «جلب یا شکایت» از غول‌های فناوری بسیار کوچک هستند. محتوای آنها ممکن است به طور جمعی برای شرکت‌های هوش مصنوعی ضروری باشد، اما هر سایت به صورت جداگانه قابل چشم‌پوشی است. حتی اگر بتوانند برای مذاکره جمعی متحد شوند، قانون ضد انحصار این کار را ممنوع می‌کند. آنها می‌توانند خزنده (crawler) های هوش مصنوعی را مسدود کنند، و برخی این کار را انجام می‌دهند. اما این به معنای عدم مشاهده در نتایج جستجو است.
ارائه‌دهندگان نرم‌افزار ممکن است بتوانند کمک کنند. اکنون از تمام مشتریان جدید کلودفلر پرسیده خواهد شد که آیا می‌خواهند به ربات‌های شرکت‌های هوش مصنوعی اجازه دهند سایتشان را برای چه هدفی اسکرپ (scrape) کنند. مقیاس کلودفلر به آن شانس بیشتری می‌دهد تا پاسخی جمعی از سوی سایت‌های محتوا را فعال کند که می‌خواهند شرکت‌های هوش مصنوعی را مجبور به پرداخت کنند. این شرکت در حال آزمایش یک سیستم پرداخت به ازای خزش (pay-as-you-crawl) است که به سایت‌ها اجازه می‌دهد از ربات‌ها هزینه ورودی دریافت کنند. آقای پرینس می‌گوید: «ما باید قوانین بازی را تعیین کنیم»، و اضافه می‌کند که نتیجه مورد علاقه او «دنیایی است که در آن انسان‌ها محتوا را رایگان دریافت می‌کنند و ربات‌ها برای آن هزینه زیادی پرداخت می‌کنند.»
یک جایگزین توسط تول‌بیت (Tollbit) ارائه شده است، که خود را به عنوان یک دیوار پرداخت برای ربات‌ها معرفی می‌کند. این سیستم به سایت‌های محتوا اجازه می‌دهد تا از خزنده‌های هوش مصنوعی نرخ‌های متفاوتی دریافت کنند: به عنوان مثال، یک مجله می‌تواند برای داستان‌های جدید بیشتر از داستان‌های قدیمی هزینه دریافت کند. در سه‌ماهه اول سال جاری، تول‌بیت ۱۵ میلیون ریزتراکنش از این نوع را برای ۲۰۰۰ تولیدکننده محتوا از جمله آسوشیتدپرس (Associated Press) و نیوزویک (Newsweek) پردازش کرد. توشیت پانیگراهی (Toshit Panigrahi)، مدیرعامل آن، اشاره می‌کند که در حالی که موتورهای جستجوی سنتی محتوای مشابه را ترغیب می‌کنند – مثلاً «ساعت سوپر بول چه زمانی شروع می‌شود؟» – دریافت هزینه برای دسترسی، منحصر به فرد بودن را تشویق می‌کند. یکی از بالاترین نرخ‌های هر خزش تول‌بیت توسط یک روزنامه محلی دریافت می‌شود.
یک مدل دیگر توسط پروراتا (ProRata)، یک استارت‌آپ به رهبری بیل گراس (Bill Gross)، پیشگام تبلیغات آنلاین پرداخت به ازای کلیک در دهه ۱۹۹۰ که از آن زمان بخش زیادی از وب را تغذیه کرده است، ارائه می‌شود. او پیشنهاد می‌کند که پول حاصل از تبلیغات قرار داده شده در کنار پاسخ‌های تولید شده توسط هوش مصنوعی، به نسبت میزان سهم محتوای هر سایت در آن پاسخ، بین سایت‌ها توزیع شود. پروراتا موتور پاسخ‌گوی مخصوص خود را به نام جیست‌دات‌اِی‌آی (Gist.ai) دارد که درآمد تبلیغاتی را با بیش از ۵۰۰ شریک خود، از جمله فایننشال تایمز (Financial Times) و آتلانتیک (Atlantic)، به اشتراک می‌گذارد. این شرکت در حال حاضر بیشتر یک نمونه بارز است تا یک تهدید جدی برای گوگل: آقای گراس می‌گوید هدف اصلی او «نشان دادن یک مدل کسب‌وکار منصفانه است که دیگران در نهایت آن را کپی کنند.»
در همین حال، تولیدکنندگان محتوا در حال بازنگری در مدل‌های کسب‌وکار خود هستند. آقای چاندراسکار، که محصول اشتراک خصوصی و سازمانی استک‌اورفلو به نام استک اینترنال (Stack Internal) را توسعه داده است، می‌گوید: «آینده اینترنت فقط به ترافیک مربوط نیست.» ناشران اخبار برای «گوگل صفر» برنامه‌ریزی می‌کنند، با استفاده از خبرنامه‌ها و اپلیکیشن‌ها برای دسترسی به مشتریانی که دیگر از طریق جستجو به آنها مراجعه نمی‌کنند و انتقال محتوای خود به پشت دیوار پرداخت یا به رویدادهای زنده. ثابت شده است که خلاصه کردن محتوای صوتی و تصویری برای موتورهای هوش مصنوعی از نظر قانونی و فنی دشوارتر از متن است. به گفته سیمیلاروب، سایتی که موتورهای پاسخ‌گو بیشتر از هر جای دیگری ترافیک جستجو را به آن ارجاع می‌دهند، یوتیوب (YouTube) است.
همه فکر نمی‌کنند که وب در حال افول است – برعکس، رابی استاین (Robby Stein) از گوگل استدلال می‌کند که وب در «لحظه‌ای فوق‌العاده رو به گسترش» قرار دارد. با آسان‌تر شدن ایجاد محتوا توسط هوش مصنوعی، تعداد سایت‌ها در حال افزایش است: ربات‌های گوگل گزارش می‌دهند که وب در دو سال گذشته ۴۵ درصد گسترش یافته است. جستجوی هوش مصنوعی به افراد امکان می‌دهد سوالات را به روش‌های جدیدی بپرسند – مثلاً گرفتن عکسی از قفسه کتاب‌هایشان و درخواست توصیه‌هایی درباره کتاب بعدی که بخوانند – که می‌تواند ترافیک را افزایش دهد. با پرس‌و‌جوهای هوش مصنوعی، سایت‌های بیشتری از همیشه «خوانده» می‌شوند، حتی اگر نه با چشمان انسان. یک موتور پاسخ‌گو ممکن است صدها صفحه را برای ارائه یک پاسخ اسکن کند و از طیف متنوع‌تری از منابع نسبت به آنچه خوانندگان انسانی انجام می‌دهند، استفاده کند.
در مورد این ایده که گوگل ترافیک انسانی کمتری را نسبت به قبل منتشر می‌کند، آقای استاین می‌گوید این شرکت کاهش چشمگیری در تعداد کلیک‌های خروجی مشاهده نکرده است، اگرچه از عمومی کردن این عدد خودداری می‌کند. دلایل دیگری به جز هوش مصنوعی نیز وجود دارد که چرا ممکن است مردم کمتر از سایت‌ها بازدید کنند. شاید آنها در شبکه‌های اجتماعی پیمایش می‌کنند. شاید به پادکست گوش می‌دهند.
مرگ وب قبلاً نیز پیش‌بینی شده بود – ابتدا به دست شبکه‌های اجتماعی، سپس اپلیکیشن‌های گوشی‌های هوشمند – و محقق نشد. اما هوش مصنوعی ممکن است بزرگترین تهدید برای آن تا به امروز باشد. اگر وب قرار است به شکلی نزدیک به شکل فعلی خود ادامه یابد، سایت‌ها باید راه‌های جدیدی برای دریافت پول در ازای محتوا پیدا کنند. آقای گراس می‌گوید: «شکی نیست که مردم جستجوی هوش مصنوعی را ترجیح می‌دهند. و برای بقای اینترنت، برای بقای دموکراسی، برای بقای تولیدکنندگان محتوا، جستجوی هوش مصنوعی باید درآمد را با تولیدکنندگان به اشتراک بگذارد.»