Sitemap Hustle
Sitemap Hustle
@SitemapHustle

Stop internal search pages from getting indexed

Stop internal search pages from getting indexed
Client had 8k /?s=query internal-search URLs in Google's index. Pure thin garbage. The lockdown:
— Find them: site:domain.com inurl:?s= in Google, or grep your sitemap/logs for the search param
— Add Disallow: /?s= to robots.txt so the bot stops crawling new ones
— For already-indexed ones, add a noindex header/tag — robots.txt alone won't deindex what's already in
— Remove them from any sitemap
— Kill internal links that auto-generate search URLs (popular-search widgets are a common leak)
— Track the deindex in Search Console coverage over 4-6 weeks
Eight thousand thin pages gone, crawl budget redirected to real pages.
Don't ONLY robots.txt-block indexed pages — blocked pages can't be re-crawled to read the noindex, so they linger.
Этот пост опубликован в Telegram-канале Sitemap Hustle. Подписаться можно по ссылке: @SitemapHustle.
tech

Свежие посты в категории «Tech Infrastructure»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.