ИИ уже не просто «ходит по сайту» — он его выгрызает. И не по вашим правилам.

ИИ уже не просто «ходит по сайту» — он его выгрызает. И не по вашим правилам.

Старая схема была понятной: robots.txt, sitemap, индексация, ранжирование. Но с LLM-агентами начинается цирк: один бот уважает запреты, другой тащит контент в обучение, третий приходит через прокси и делает вид, что он «пользователь». В итоге вы ставите запрет для всех, а данные всё равно утекают.

Проблема не в том, что ИИ читает сайт. Проблема в том, что вы не контролируете, кто именно читает, что именно забирает и для чего использует. LLMs.txt — это пока не волшебный щит, а скорее попытка навести порядок в хаосе. Но без нормальной политики доступа, логов и сегментации контента это просто ещё один файл для самоуспокоения 🤷‍♂️

Если у вас есть коммерческие блоки, уникальные исследования, закрытые базы — их уже пора защищать не «на словах», а правилами для агентов. Иначе SEO, контент и аналитика будут кормить чужие модели бесплатно.