Cloudflare запускает экспериментальную торговую площадку Pay per Crawl, которая позволит владельцам сайтов устанавливать плату за каждое обращение AI-краулеров к их контенту. Компания, обслуживающая 20% веб-трафика, позиционирует это как решение для издателей в эпоху AI, когда традиционная модель монетизации через Google Search перестает работать.

Концепция интересная — владельцы сайтов смогут выбирать, каким AI-системам разрешить доступ и по какой цене, либо блокировать их полностью. Крупные издатели вроде Conde Nast, TIME и The Atlantic уже поддержали инициативу. По умолчанию новые сайты на Cloudflare будут блокировать всех AI-краулеров.

Главный вызов — убедить AI-компании платить за то, что они сейчас получают бесплатно. Пока только крупные издатели заключают лицензионные сделки с техгигантами, а мелкие остаются за бортом.

Правда, владельцев мелких сайтов может серьезно обескуражить тот факт, что их контент, в общем-то, не очень нужен ботам или что возможный доход от такой продажи составит пренебрежимо малую сумму. С учетом неуникальности большинства контента в интернете необходимость индексации вообще всего отсутствует — это раньше было понятно для поисковых систем.