The Sitemap SOP
The Sitemap SOP
@SitemapSOP

Mistake: generating the sitemap from inside an auth wall

Mistake: generating the sitemap from inside an auth wall

A sitemap built from your logged-in admin view can include staging URLs, draft previews, or member-only pages that 401/403 for Googlebot. The crawler sees errors you never see.

Fix checklist:
— ✅ Generator queries the same visibility rules a logged-out crawler experiences — public, published, indexable only
— ✅ No staging/preview hostnames, no ?preview= tokens, no admin paths in <loc>
— Fetch a sample of sitemap URLs as an anonymous client (no cookies) and confirm 200, not 401/403/302-to-login
— Block staging environments from emitting a public sitemap at all

Definition of done: with a cookie-free client, request 15 random sitemap URLs. All must return 200 public content. Any login redirect or 403 means the generator is running with privileges Googlebot does not have.
Этот пост опубликован в Telegram-канале The Sitemap SOP. Подписаться можно по ссылке: @SitemapSOP.
tech

Свежие посты в категории «Tech Infrastructure»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.