Несуществующая страница должна честно говорить, что её нет.

Несуществующая страница должна честно говорить, что её нет.

Частая ошибка — отдавать успешный код ответа вместе с сообщением «ничего не найдено». Для человека это понятная страница, для робота обычный документ с бедным содержимым, который он аккуратно сохранит и будет периодически навещать.

Что проверять:

— удалённые разделы отвечают кодом отсутствия, а не успехом;
— страница ошибки не отправляет автоматически на главную через несколько секунд;
— на ней есть навигация и поиск, чтобы человек не уходил;
— внутренние ссылки на несуществующие адреса найдены и вычищены, а не просто прикрыты переадресацией.

Отдельно про массовые удаления. Если раздел закрыт навсегда, честнее отдать код полного удаления, а если материал переехал — поставить постоянный переход на новый адрес.

Битые внутренние ссылки — это не только про роботов. Это ещё и признак того, что за сайтом давно никто не следил.