CEO Cloudflare Мэттью Принс выдал алармистскую картину катастрофического падения трафика на сайты издателей из-за AI-саммари. Статистика впечатляющая: десять лет назад Google сканировал 2 страницы на каждого отправленного на сайт пользователя, сейчас соотношение 18:1. У OpenAI — 1500:1, у Anthropic — вообще 60 000:1. Причем соотношение за последние полгода выросло на порядок. И далеко не всегда за счет увеличения объемов индексирования.

Проблема в том, что люди все больше доверяют AI-ответам и не переходят по ссылкам на первоисточники, лишая издателей рекламной выручки. “Будущее веба будет все больше похоже на AI, и это означает, что люди будут читать саммари вашего контента, а не оригинальный контент”, — объясняет Принс.

Cloudflare разрабатывает инструмент для блокировки скрапинга контента, и, по словам Принс, “каждый издатель, о котором вы когда-либо слышали, поддерживает это”. Компания уже запустила решение, которое блокирует ботов, игнорирующих директивы “no crawl”.

Принс настроен воинственно: “Я ежедневно воюю с китайским правительством, российским правительством, иранцами, северокорейцами, вероятно, американцами, израильтянами — все они пытаются взломать сайты наших клиентов. И вы говорите мне, что я не могу остановить какого-то ботаника с C-корпорацией в Пало-Альто?”

Но вообще, нет ничего удивительного. Я как раз в выходные говорил на стриме — LLM на порядок лучше справляются с информационным типом запросов, если сравнивать с обычным интерфейсом поисковика. У пользователя есть запрос на информацию, он вместо того, чтобы формулировать странным языком запрос, прокликать несколько ссылок и обработать информацию, задает вопрос естественным языком и получает внятный ответ на том же языке. Потребность пользователя удовлетворена, а то, что вы хотели ему десяток баннеров показать, ударить по глазам попапом с подпиской и в итоге продать ему что-то — это проблемы вашего бизнеса.