К не спеша развивающемуся скандалу вокруг Perplexity AI — некоторое время назад поисковик поймали на несоблюдении требований Robots Exclusion Protocol и обходе блокировок с неизвестных адресов, — подключается Amazon. AWS начал внутреннее расследование относительно того, соблюдает ли Perplexity, как клиент AWS, правила сервиса, индексируя контент с сайтов без согласия их владельцев.

Robots Exclusion Protocol является совершенно добровольным — никто не обязан соблюдать требования robots.txt, — но соблюдать его принято. Аналогично публикация IP-адресов своих роботов и использование исключительно их тоже не является обязательным. Более того, ряд ботов по определению работают не публично — например, те, которые используются для борьбы со спамом. Так что тут совершенно серая зона, переполненная благими пожеланиями, которые невозможно заставить соблюдать.