Verified list без мусора: как выкинуть мёртвые строки до первого прогона

Verified list без мусора: как выкинуть мёртвые строки до первого прогона

Серый verified-лист редко бывает чистым. Внутри всегда лежат трупы: дубли, редиректы, шаблонные формы, страницы с защитой и пустые submit-ы. Если не отфильтровать это до старта, LPM падает, а капча жрёт слот за слотом.

Базовый фильтр простой: — убираем дубли по URL и домену; — режем страницы с noindex, login, 404 и 403; — выкидываем формы, где нет action или hidden-полей под сабмит; — отдельно складываем листы с cloudflare, recaptcha и многошаговой воронкой. Это уже срезает основную тухлятину.

Дальше нужен техосмотр по ответам сервера. Если страница отдаёт нестабильный код, прыгает по редиректам или ловит пустой HTML после рендера, в общий пул её не пускаем. Такие цели красиво выглядят в verified, но на объёмах ломают пробив и разгоняют стоимость успешного сабмита.

Финальная чистка — по поведению движка. Прогоняем короткий тестовый пул и смотрим, где сабмит проходит без ручного вмешательства, а где начинается цирк с капчей, таймаутами и кривыми формами. Всё, что не держит стабильный результат, уходит в отдельный Tier или в мусор. Чистим листы до блеска, потом уже тестим пробив на объемах.