Синтаксис у файла с правилами обхода обманчиво простой, и ошибаются в нём почти все.

Синтаксис у файла с правилами обхода обманчиво простой, и ошибаются в нём почти все.

Первое, что путают, — блоки. Правила группируются по роботам, и робот выполняет ровно один блок: тот, что адресован лично ему, если такой есть. Общий блок для всех он в этом случае просто не читает. Поэтому добавление персонального блока с парой строк молча отменяет для этого робота все остальные запреты.

Второе — совпадение по началу адреса. Запись без специальных символов закрывает всё, что начинается с указанной строки, а не только точное совпадение. Одна лишняя буква превращает узкий запрет в широкий.

Третье — регистр. Пути обычно чувствительны к нему, и правило, написанное с большой буквы, не сработает для адреса с маленькой.

Четвёртое — пустая строка внутри блока: она разрывает его, и часть правил уезжает в никуда.

Проверять файл надо инструментом в панели вебмастера, подставляя конкретные адреса. Читать его глазами и быть уверенным — самый дорогой способ работы.