Как собрать спай-парсер, который не тонет в дублях и мусоре

Как собрать спай-парсер, который не тонет в дублях и мусоре

Ручной спай быстро превращается в хаос: одни и те же крео, кривая разметка, скачки по регионам. Нужен конвейер, а не «посмотрел и забыл».

Сценарий: источник спая → n8n webhook → фильтр дубликатов → нормализация полей → база/таблица → алерт в Telegram. На входе сохраняем URL, хук, формат, язык, GEO, дату первого появления и хэш крео.

Узкое место здесь — дубли и парсинг кривых карточек. Лечится так: хэшировать не весь текст, а связку image/video ID + headline + landing domain; пустые поля не валить в ошибку, а отправлять в quarantine-очередь на ручную проверку. Для Make логика та же, но на больших объёмах n8n проще держать self-hosted и дописывать свои функции.

Отдельно держите слой обогащения: по домену тянуть тайтл ленда, по объявлению — UTM-метки, по крео — OCR/транскрипт. Тогда спай становится не архивом картинок, а поисковой базой для связок «угол → оффер → GEO». Стоимость запуска обычно упирается не в API, а в время на чистку мусора.

Если спай нужен каждый день, автоматизируйте не скачивание, а нормализацию и дедупликацию. Иначе вы строите склад файлов вместо инструмента для поиска связок.