Раньше сайт считал только поисковик. Теперь его читает ещё и агент: не человек, не бот из SEO-отчёта, а LLM, который может сам собирать данные, сравнивать цены, вытаскивать оффер и уходить к конкуренту за 3 секунды.
И вот тут начинается конфликт.
Robots.txt писали под старую экономику трафика: кто индексируется, тот получает клики. Но агенту клики не нужны. Ему нужен ответ. Если вы не объяснили, что можно читать, что нельзя, и в каком формате отдавать данные — вы просто кормите чужую модель своим контентом бесплатно.
Мини-калькулятор:
1 сайт
× 10 000 агентских запросов в месяц
× 0 ₽ за прямую монетизацию
= красивый трафик без денег.
LLMs.txt — попытка вернуть контроль: не запретить, а разметить правила игры. Что читать. Что не читать. Что важно для машины, а что для человека.
С точки зрения ops это не про SEO. Это про контроль канала, через который ваш продукт начинают “покупать” без вас. И если правила не заданы, проигравшие уже известны: ваш контент, ваш трафик, ваш P&L.
Agency Math Notes
@AgencyMathPro
Раньше сайт считал только поисковик. Теперь его читает ещё и агент: не человек, не бот из SEO-отчёта, а LLM, к
Этот пост опубликован в Telegram-канале Agency Math Notes. Подписаться можно по ссылке: @AgencyMathPro.