Привычка закрывать от обхода каталоги со стилями и скриптами осталась с тех времён, когда роботы читали только текст. Сейчас она вредит.
Система рисует страницу так же, как браузер: подгружает оформление, выполняет скрипты, смотрит, что получилось. Если файлы оформления закрыты, она видит голый текст без раскладки и делает выводы, которые вам не понравятся: содержимое кажется недоступным, мобильная версия — сломанной, часть блоков — отсутствующей.
Что стоит держать открытым:
— файлы оформления и скрипты, участвующие в показе страницы;
— изображения, если вы хотите видеть их в поиске по картинкам;
— шрифты и прочие ресурсы, без которых страница выглядит иначе.
Что закрывать разумно: служебные обработчики, страницы результатов внутреннего поиска, версии для печати, корзину и личный кабинет.
Проверить легко: в панели вебмастера есть просмотр страницы глазами робота. Если картинка там отличается от того, что видите вы, ищите запрет в правилах обхода.
Robots и Sitemap
@robots_sitemap_ru_n1k
Привычка закрывать от обхода каталоги со стилями и скриптами осталась с тех времён, когда роботы читали только
Этот пост опубликован в Telegram-канале Robots и Sitemap. Подписаться можно по ссылке: @robots_sitemap_ru_n1k.