ИИ-агенты уже заходят на сайты не как люди и не как классические поисковые роботы. И тут старый robots.txt вне

ИИ-агенты уже заходят на сайты не как люди и не как классические поисковые роботы. И тут старый robots.txt внезапно оказывается слишком грубым инструментом.

Что меняется:
— поисковики и LLM-системы начинают по-разному интерпретировать доступ к контенту;
— сайт может быть открыт для индексации, но не для обучения модели;
— появляются отдельные правила для агентов: кто может читать, что можно брать, что игнорировать.

LLMs.txt — это попытка добавить более точный уровень контроля. Не вместо robots.txt, а рядом с ним. Идея простая: владельцу сайта нужен не только запрет/разрешение, но и понятный сценарий для ИИ-агентов.

Для тех, кто ведет карьерный сайт, блог или портфолио, вывод прямой: контент уже читают не только рекрутеры и Google. Значит, надо понимать, кто именно и на каких условиях получает доступ 🔍

Если у вас есть сайт с кейсами, резюме, статьями или портфолио — проверьте, что у него сейчас настроено: robots.txt, sitemap, политики для ботов и новые ограничения для LLM.