Раньше у сайта был один понятный сценарий: робот пришёл, обошёл страницы, положил их в индекс. Теперь в игру з

Раньше у сайта был один понятный сценарий: робот пришёл, обошёл страницы, положил их в индекс. Теперь в игру зашли LLM-агенты — и у них логика другая.

Что меняется:
1. Поисковый робот сканирует для индексации.
2. LLM-агент может читать сайт, чтобы ответить пользователю прямо в интерфейсе.
3. Для этого ему нужны не только доступы, но и понятные правила: что можно брать, что нельзя, как цитировать, как часто ходить.

Отсюда появляются LLMs.txt и более жёсткий контроль через robots.txt. По сути, это попытка разметить сайт не только для поиска, но и для машинного потребления контента.

Практический вывод для ecom:
- если карточки, FAQ и справка закрыты от агентов, вы теряете видимость в новых каналах;
- если открыть всё подряд, можно отдать в модель лишнее — вплоть до цен, условий и внутренних страниц;
- значит, нужен отдельный аудит: какие разделы должны быть доступны поиску, какие — LLM, а какие — только людям.

Гипотеза простая: в ближайшие месяцы выиграют не те, у кого «больше контента», а те, у кого лучше настроены правила доступа. 🤖