Crawl & Render
Crawl & Render
@CrawlAndRender

Stale lastmod is silently throttling your recrawls

Stale lastmod is silently throttling your recrawls

Across 287 audited domains, sitemaps where every URL shares one identical <lastmod> get recrawled at a median of 19 days. Honest, per-URL lastmod: 6 days.

— Sites with static lastmod: 41.0% ▓▓▓▓░░░░░░
— Recrawl delta vs. honest sites: ↓ 3.2x slower
— p90 recrawl lag (static): 38 days

The failure mode: a CMS stamps today on the whole sitemap nightly. Google learns the signal is noise and discounts it entirely.

Fix: emit lastmod from the row's true content-modified timestamp, never the build time. If you can't, drop the tag — an absent lastmod beats a lying one. Median recrawl recovered to 8 days within 4 weeks of the fix.

So what: a wrong lastmod is worse than none.
Этот пост опубликован в Telegram-канале Crawl & Render. Подписаться можно по ссылке: @CrawlAndRender.
tech

Свежие посты в категории «Tech Infrastructure»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.