Сырые verified-листы почти всегда с перьями: дубликаты, мёртвые домены, пустые формы, шаблонные страницы. Если не чистить на входе, движок тратит сабмиты в холостую, а LPM падает не из-за капчи, а из-за мусорного пула.
Базовый фильтр:
— убираем дубли по домену и URL-паттерну
— режем страницы без формы, без POST-эндпоинта, без action
— выкидываем листы с редиректами, 4xx и пустым HTML
— помечаем страницы, где видна только заглушка или авто-генерёнка
Дальше идёт живой пробив. Ставим тестовый сабмит на малой пачке и смотрим не на “успешно отправлено”, а на подтверждающий паттерн: ответная страница, email-эхо, появление записи в листинге, смена статуса. Если сигнал не повторяется на нескольких прогонов, такой футпринт в мусор.
Ещё один слой — поведенческий. Листы, где форма принимает слишком много полей без валидации, часто уже забиты ботами и ловушками. Их держим в отдельном тире, с урезанным приоритетом и лимитом на прогоны. Чистим листы до блеска, потом уже выстраиваем Tier-пирамиду.
Правило простое: сначала отсекаем всё, что не умеет стабильно отвечать, потом уже крутим объём. Иначе вы не строите сеть, а кормите логами свалку.
Бот на Python для новичков: практика
@python_botstart
Verified list — не актив, пока не вырезан мусор по футпринтам и ответам
Этот пост опубликован в Telegram-канале Бот на Python для новичков: практика (@python_botstart). Все его публикации — на странице канала.
Открыть в Telegram