Crawl & Render
Crawl & Render
@CrawlAndRender

Myth: "noindex stops Google from crawling the page"

Myth: "noindex stops Google from crawling the page"

Sample: 1,940 noindex URLs across 96 domains, 90-day log window.

Median Googlebot hits per noindex URL after the directive was applied:

— Days 1-30: 6.2 hits ▓▓▓▓▓▓░░░░
— Days 31-60: 3.8 hits ▓▓▓▓░░░░░░
— Days 61-90: 2.1 hits ▓▓░░░░░░░░

noindex is a rendering-stage signal. Google must fetch and render the page to see the tag, so crawl never goes to zero. Decay is slow: median 64.7% of pre-noindex crawl frequency still present at day 30.

To cut crawl, you need robots.txt Disallow — but that blocks the fetch, so Google can't read the noindex either. The two directives are mutually exclusive on the same URL.

Delta: pairing them on 312 URLs left 41.3% still indexed (URL-only entries).

So what: noindex controls indexing, not crawl. Don't expect budget relief from it.
Этот пост опубликован в Telegram-канале Crawl & Render. Подписаться можно по ссылке: @CrawlAndRender.
tech

Свежие посты в категории «Tech Infrastructure»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.