OpenAI запустили поискового робота, который будет индексировать сайты, доступные в интернете, для дальнейшего использования в обучении своих моделей — GPT-4 и будущую GPT-5. Робот вежливый и соблюдает требования robots.txt, так что вы можете указать на сайте

User-agent: GPTBot Disallow: /

и робот не будет его индексировать.

Как указывают комментаторы, совершенно непонятно, зачем разрешать индексацию — ведь поисковая система хоть трафик присылает в обмен на контент, а тут никакого трафика не предвидится. С другой стороны, по сайтам ходят тучи роботов самых разных сервисов — например, Ahrefs или похожих, — от которых тоже профита не предвидится, но никто не заморачивается особо с их блокировкой.

Будем блокировать?