Как автоматизировать спай-парсинг, чтобы креативы не искали руками

Как автоматизировать спай-парсинг, чтобы креативы не искали руками

Раньше схема была тупая: открыть 3-5 спай-сервисов, фильтровать по ГЕО и источнику, руками сохранять крео, потом отдельно раскладывать по папкам. На объёме это съедает часы и ломает дисциплину.

Сценарий: спай-сервис → n8n/Make → хранилище → Telegram.
1. Триггер по расписанию или webhook.
2. HTTP Request забирает новые креативы и метаданные: текст, лендинг, формат, GEO, дата старта.
3. Фильтр отсеивает дубли по hash от превью + URL.
4. Upload в Google Drive/S3, запись в Notion/Airtable, уведомление в Telegram с тегами и ссылкой.

Узкое место здесь — лимиты на запросы и нестабильная разметка. Лечится очередью, задержкой между пачками и отдельным парсером для поля с текстом объявления. Если сервис отдаёт кривой HTML, лучше тащить не страницу целиком, а только нужные селекторы через промежуточный scraper.

Грабли: без дедупликации папка быстро превращается в свалку; без тегов по GEO и источнику потом нельзя собрать нормальную выборку для крео-референсов. Ещё одна ошибка — сохранять всё подряд. Полезнее сразу считать score: свежесть, формат, совпадение с оффером, наличие UGC.

Раньше: 3 часа руками. Теперь: 12 минут на запуск, дальше само. Главное — не «собирать спай», а построить конвейер: поймал → проверил → разложил → отдал в работу.