Как чистить verified lists: мусор режется по логам, а не по ощущению

Как чистить verified lists: мусор режется по логам, а не по ощущению

Первый фильтр — валидность оболочки. Снимаем мёртвые домены, редиректы, 4xx/5xx, пустые анкоры и листы с одинаковыми паттернами сабмитов. Если verified выглядит как спам-дамп, а не следы живой сетки, в работу его не пускаем. Тут без эмоций: чистим листы до блеска.

Дальше режем по футпринтам. Один движок, одинаковые таймстемпы, повторяющиеся юзерагентные хвосты, один и тот же блок прокси — всё это маркер автогенерации. Такие списки дают шум, а не пробив. Срезаем косты на капчу, но не за счёт качества: мусор на входе всегда дороже, чем фильтр до прогона.

Третий слой — поведение ссылок. Живой verified-list даёт разброс по типам площадок, гео, языку и глубине страниц. Если там только главки, только форумы или только каталоги с одинаковой структурой, LPM проседает, а Tier-пирамида становится картонной. Тестим пробив на объемах и оставляем только те сегменты, где сабмит реально проходит.

Финальный проход делаем на маленьком сэмпле: смотрим, где есть индекс, где не режется форма, где не умирает пост после публикации. Всё, что не проходит два независимых чекпоинта, в архив. LPM решает всё, но только если в списке остались живые площадки, а не тени после массового прогона.