Файл с правилами обхода — это просьба, а не замок. Роботы крупных поисковых систем её уважают, все остальные ч

Файл с правилами обхода — это просьба, а не замок. Роботы крупных поисковых систем её уважают, все остальные читают её ровно с тем вниманием, с каким читают табличку «не входить».

Отсюда главное практическое ограничение: закрывать в этом файле то, что не должно попасть к посторонним, бессмысленно. Технические разделы, страницы входа, служебные каталоги в списке запретов — удобная карта для того, кто ищет слабые места. Защита живёт в правах доступа и паролях, а не в текстовом файле, открытом всему миру.

Второе следствие тоньше. Запрет обхода не равен удалению из выдачи. Если на закрытую страницу ведут внешние ссылки, система может показать её, зная только адрес и не имея содержимого. Получается худший вариант: страница в выдаче есть, а выглядит пустой строкой.

Правильный порядок такой: страницу, которую нужно убрать из выдачи, оставляют открытой для обхода и помечают запретом на индексацию. Робот должен зайти и прочитать запрет. Иначе он о нём не узнает. ⚙️