Похоже, сайт больше не читают только люди и поисковики — туда уже заходят ИИ-агенты. И вот здесь начинается ин

Похоже, сайт больше не читают только люди и поисковики — туда уже заходят ИИ-агенты. И вот здесь начинается интересное: старый набор правил вроде robots.txt уже не всегда отвечает на вопрос, кто именно пришёл, что он забирает и как потом это используется.

Я слышал, что у многих команд до сих пор логика простая: «закрыли индексацию — значит, закрыли доступ». Но для LLM это слишком грубая модель. Одни системы уважают ограничения, другие — интерпретируют их по-своему, третьи вообще действуют через посредников: парсеры, браузерные агенты, API-кэши. Формально трафик есть, юридически статус мутный, репутационно — зона риска.

На практике это уже вопрос не SEO, а brand protection: что вы разрешаете читать, что можно цитировать, где проходит граница между открытой публикацией и обучающим корпусом. И да, LLMs.txt выглядит как попытка вернуть контроль в игру, но пока это скорее сигнал для рынка, чем универсальный щит. ⚠️

Если сайт — ваш актив, стоит проверить не только robots.txt, но и то, как он выглядит для ИИ-агентов: что видно, что индексируется, и где у вас реально есть рычаги.