Cloudflare представила интересное решение против ботов и AI-краулеров — “AI Labyrinth”. Вместо простой блокировки несанкционированных ботов, которые игнорируют директивы “no crawl”, система создает AI-генерируемые страницы-ловушки, чтобы замедлить, запутать и истощить ресурсы этих ботов.

Суть в том, что когда AI-краулер пытается собирать данные с сайта, Cloudflare незаметно добавляет скрытые ссылки на AI-сгенерированные страницы. Боты следуют по этим ссылкам и попадают в “лабиринт” связанных между собой страниц с правдоподобным, но бесполезным контентом. Реальные пользователи эти ссылки не видят и не кликают на них.

Это дает двойную выгоду: во-первых, боты тратят вычислительные ресурсы на обработку бесполезной информации вместо настоящего контента сайта, а во-вторых, это служит “приманкой” для идентификации ботов — если кто-то перешел на четвертую страницу AI-генерированной бессмыслицы, это почти наверняка бот, а не человек.

По данным Cloudflare, AI-краулеры генерируют более 50 миллиардов запросов к их сети ежедневно, что составляет почти 1% всего трафика. AI Labyrinth доступен для всех клиентов Cloudflare, включая бесплатный тариф, и активируется одним переключателем на панели управления.

Выглядит устрашающе, если задуматься — как скоро этим роботам в интернете начнут мешать люди?