Похоже, у сайтов появился новый тип посетителя: не человек и не классический робот, а агент, который не просто

Похоже, у сайтов появился новый тип посетителя: не человек и не классический робот, а агент, который не просто сканирует, а пытается понять, что именно можно брать в работу.

Раньше связка была простая: robots.txt — для ботов, SEO — для индексации, доступность — для пользователей. Теперь на столе ещё один слой правил: LLMs.txt и контроль агентов. Я слышал, что крупные площадки уже смотрят на это не как на «новый файл ради галочки», а как на способ разрулить права на чтение, цитирование и повторное использование контента 🤖

Для marketplace/ecom это особенно чувствительно. Если агент может собирать карточки, цены, остатки и правила доставки быстрее человека, то вопрос уже не в «пусть индексируют», а в «что именно мы отдаём наружу» и в каком формате. Отсюда новая карта риска: публичные данные, полупубличные данные, чувствительные фиды, закрытые разделы.

Похоже, ближайший паттерн у сильных команд будет такой: не запретить всё, а отделить витрину от данных для машин. Иначе контроль над контентом и аналитикой начнут отбирать не конкуренты, а их модели.