Как автоматизировать спай-парсинг, чтобы крео не терялись в хаосе

Как автоматизировать спай-парсинг, чтобы крео не терялись в хаосе

Ручной спай ломается не на сборе, а на хранении: ссылка есть, скрин есть, а через неделю уже не понять, почему крео сработало. Рабочая схема — не просто «сохрани в таблицу», а сразу раскладывать данные по полям: оффер, вертикаль, GEO, формат, текст, CTA, источник, дата, статус.

Сценарий: спай-сервис → n8n/Make → нормализация → база/Notion/Sheets → Telegram-алерт. На входе ловим новые объявления через RSS, API или парсинг страницы. Дальше отдельным узлом вытаскиваем заголовок, медиатип, ссылку, первый экран и UTM-подобные признаки. После этого — дедупликация по хэшу и сохранение только уникальных связок.

Узкое место здесь — дубли и грязные поля. Если сразу не чистить UTM, пробелы и одинаковые крео в разных размерах, база превращается в свалку. Рабочий приём: перед записью прогонять текст через lower-case, trim, regex-очистку и сравнение по нормализованному названию + домену + превью-картинке.

Дальше включается фильтр полезности: в Telegram уходят только крео, где совпали вертикаль и GEO, либо появился новый паттерн в оффере. Всё остальное тихо складируется в архив. Раньше: 2–3 часа руками на сортировку. Теперь: 10–15 минут на первичную настройку, дальше система сама отсекает мусор и оставляет только то, что можно разобрать и повторить.