Сайт раньше был простой.

Сайт раньше был простой.
Пришёл поисковый робот, тихо пожевал страницы, ушёл в индекс. Все довольны, кроме SEO, у которого опять «надо бы ещё немного оптимизировать».

А потом пришли LLM-агенты.
Не «зашёл пользователь».
Не «просканировал бот».
А какой-то новый гражданин интернета, который читает, суммирует, сравнивает, цитирует и, кажется, уже собирается принимать решения без вашего участия 🤖

И тут начинается классическая продуктовая драма:
— а он вообще кто?
— а что ему можно?
— а почему robots.txt уже не выглядит как полноценная политика доступа?
— а LLMs.txt — это новый стандарт или ещё один файл в папке «на всякий случай»?

Скандал в том, что сайт больше не адресован только людям.
Теперь у него есть ещё один читатель: быстрый, голодный и очень уверенный в себе.
И если правила для него не прописаны, он всё равно придёт. Просто заберёт не то, что вы ожидали 📉

Раньше мы оптимизировали страницы под выдачу.
Теперь — ещё и под агентов.
Потому что «контент для пользователя» внезапно стал «контентом, который кто-то прочитает вместо пользователя».