Старый контракт веба больше не работает: сайт был рассчитан на поискового робота, а теперь его читает агент с

Старый контракт веба больше не работает: сайт был рассчитан на поискового робота, а теперь его читает агент с ИИ. И вот здесь начинается регуляторная серость.

`robots.txt` — это добровольный протокол для краулеров. Он говорит, куда можно заходить, но не отвечает на главный вопрос: кто именно пришёл на сайт — индексатор, аналитический бот или LLM-агент, который потом пересоберёт контент в ответ без перехода к источнику. 📌

Появление `llms.txt` — попытка навести порядок там, где стандарты не успели. Но формально это не режим доступа, а скорее навигационная табличка для машин: что важно, что можно цитировать, что не стоит тащить в модельный ответ.

Проблема для бизнеса не в технологии, а в управляемости:
— кто контролирует сбор данных;
— на каком основании контент используется;
— как фиксировать нарушение;
— чем отличается легитимный краулинг от агрессивного скрейпинга.

Для GR, legal и corpcomms это уже не SEO-вопрос, а вопрос цифрового режима доступа. Если агент читает сайт, значит, нужны правила не только для поисковиков, но и для ИИ-посредников. Иначе правила напишут за вас.