Похоже, старый веб-договор уже не работает.
Раньше всё было просто: поисковик пришёл, прочитал, проиндексировал, уехал. Сейчас на сайт всё чаще заходят не люди и даже не классические боты, а LLM-агенты: они не просто собирают страницы, а вытаскивают куски контента, связывают их между собой и могут действовать от имени пользователя.
Отсюда и новый слой управления: robots.txt больше не отвечает на все вопросы, а llms.txt пытаются подсказать моделям, что именно можно читать и как интерпретировать сайт. Но в реальности это пока не единый стандарт, а скорее попытка навести порядок в хаосе ⚙️
Что это значит для бизнеса:
— контент может использоваться вне вашего канонического сайта;
— правила доступа к данным надо пересматривать не только для поисковиков, но и для агентов;
— безопасность, SEO и product-логика начинают пересекаться.
Я бы смотрел на это как на раннюю стадию новой инфраструктуры веба. Не «ещё один файл в корне», а контроль над тем, кто читает, что читает и с какой целью 🤖
IT Weekly Pro
@ITWeeklyPro
Похоже, старый веб-договор уже не работает.
Этот пост опубликован в Telegram-канале IT Weekly Pro. Подписаться можно по ссылке: @ITWeeklyPro.