Автосбор креативов из spy-сервисов: как не утонуть в дублях

Автосбор креативов из spy-сервисов: как не утонуть в дублях

Ручной парсинг spy-сервисов ломается не на поиске, а на сортировке: 200 похожих крео, одинаковые ленды, разные превью, ноль понимания что уже смотрели.

Сценарий: Cron → HTTP Request к spy API/экспорту → нормализация полей → hash по связке image_url + title + domain → запись в Airtable/Sheets → Telegram digest.

Ключевые фильтры:
— GEO, язык, источник трафика, вертикаль;
— дата первого появления без привязки к «свежести»;
— домен ленда и офферные ключи;
— blacklist по сеткам, брендам и мусорным словам.

Грабли: spy часто отдаёт одно крео под разными id. Поэтому id не используем как уникальный ключ. Сначала качаем превью, считаем perceptual hash, потом режем дубли по похожести. Для rate limit ставим очередь и паузу между запросами.

Финал: автоматизируйте не «найти победителя», а убрать мусор. Байер должен открывать 20 отфильтрованных связок, а не чистить выгрузку руками.