Crawl & Render
Crawl & Render
@CrawlAndRender

URL parameter math: how 5 filters become 100k URLs

URL parameter math: how 5 filters become 100k URLs

Faceted navigation multiplies, it doesn't add. Five filters with 4, 6, 3, 8 and 5 values each, in any combination and order, generate up to 4×6×3×8×5 = 2,880 base combos — and with ordering and pagination, real crawls found a median 100k+ distinct parameter URLs from a 2k-product catalog.

Crawlable parameter URLs per 1k products, 58 catalogs:

— controlled (robots + canonical): ~1.2k ▓░░░░░░░░░
— uncontrolled: ~63k ▓▓▓▓▓▓▓▓▓▓

That's a 52× crawl-surface delta.

So what: pick one canonical facet order, disallow the rest, and never let two filters of the same type be crawlable together. The combinatorics are your real enemy, not any single page.
Этот пост опубликован в Telegram-канале Crawl & Render. Подписаться можно по ссылке: @CrawlAndRender.
tech

Свежие посты в категории «Tech Infrastructure»

Все каналы категории →

start

Готовы запустить рекламу через сеть public.tg?

Новый оффер, продукт, GEO, кейс, событие или партнёрский запуск — соберём маршрут под задачу и отдадим медиаплан.

Telegram для медиаплана: @AFFtop_connect. Быстрый тест: $20 за канал, $1000 за пакет по сети.