ИИ уже не просто «ходит» по сайту — он приходит как агент, который может читать, вытаскивать контекст, собирать ответы и делать это не по правилам классического SEO. А правила, как обычно, никто толком не согласовал.
robots.txt был заточен под поисковых роботов: что можно индексировать, что нельзя, где лимиты, где запреты. Но LLM-агенты живут в другой логике — им нужен не индекс, а данные для ответа. И вот здесь начинается правовая и техническая каша: кто именно пришёл, что он делает, соблюдает ли ограничения, и вообще имеет ли сайт возможность это контролировать? 🤖
llms.txt пытаются продать как новый «флажок на входе»: мол, вот инструкция для моделей и агентов. Звучит аккуратно. На практике — это пока не стандарт власти, а попытка навязать правила игре, которую уже начали без вас.
Главный вопрос для PR и security не в том, «запретить или разрешить», а в том, как отличать легитимный доступ от тихого выкачивания контента. Потому что если сайт — это витрина бренда, то агент уже стоит у неё с блокнотом и сканером.
Spike Attack
@SpikeAttackPro
ИИ уже не просто «ходит» по сайту — он приходит как агент, который может читать, вытаскивать контекст, собират
Этот пост опубликован в Telegram-канале Spike Attack. Подписаться можно по ссылке: @SpikeAttackPro.