Verified list без мусора: как отстрелить трупы и оставить живые домены

Verified list без мусора: как отстрелить трупы и оставить живые домены

Первый проход — не лезем в контент, режем по техническим следам. Смотрим 200/3xx цепочки, время ответа, размер страницы, наличие капчи, редирект на заглушку, пустые формы. Если домен отдает витрину, но форма не сабмитится или уходит в бесконечный редирект, это не лист, это шум. На этом этапе чистим листы до блеска.

Дальше фильтр по footprint-ам движка. Уберите одинаковые титлы, шаблонные сниппеты, повторяющиеся пути /register /submit /contact, одинаковые JS-библиотеки и одинаковые поля формы. Клон в verified list — это не актив, а будущий слив пробива. Срезаем косты на капчу и не кормим мусорные площадки.

Третий слой — поведенческий. Живой домен должен отвечать стабильно с разных проксей, держать форму без ошибки и не схлопываться после пары запросов. Если сабмит проходит только с одного IP, а с остальными ложится, это хрупкий тир. Такие записи лучше в отдельный список, а не в основной прогон.

Финальный отсев делайте по логам: успешный сабмит, валидный ответ, отсутствие дубля по URL и домену, нормальный статус после постинга. Все, что не дает воспроизводимый результат, уходит в карантин. LPM решает всё, а verified list должен содержать только то, что проходит повторно и без ручного спасения.