Рецепт n8n: защита от дублей в парсере креативов без ручной чистки

Рецепт n8n: защита от дублей в парсере креативов без ручной чистки

Типовая боль: парсер спая раз в час тянет новые крео, но API отдает старые элементы вперемешку. Без фильтра в таблицу летят дубли, байер видит один и тот же оффер по 5 раз, а авто-генератор текстов жжет лимиты.

Сценарий: Cron → HTTP Request → Function → Data Store → IF → Google Sheets/Telegram.
В Function собираем ключ: offer_id + geo + image_hash. Если ID нет — берем домен ленда + первые 80 символов текста + хэш картинки. Главное: ключ должен описывать крео, а не строку ответа API.

Data Store хранит уже обработанные ключи. IF проверяет: ключ найден — стоп; ключ новый — пишем в таблицу, отправляем в чат и сразу добавляем ключ в Store. Грабли: если сначала писать в Sheets, а потом в Store, при таймауте получите повтор на следующем запуске.

Еще два правила: ставьте TTL, если старые крео снова могут стать актуальными; нормализуйте текст до ключа: lowercase, trim, убрать UTM и лишние пробелы.

Профит не в «магии AI», а в чистом входе для команды: меньше мусора в выдаче, меньше повторных генераций, проще сравнивать связки. Такой узел стоит добавить в любой n8n-сценарий, где данные приходят пачками.