Ребят, если вы строите сквозную аналитику, смиритесь: коннекторы к рекламным кабинетам будут падать. Площадки обновили API, поменяли названия полей или слетела авторизация — и вот в дашборде дыра за три дня.
На самом деле, лечится это не беготней с горящими глазами, а правильной архитектурой пайплайна.
Что помогает мне спать спокойно:
⭐️ алерты в Telegram при сбое забора данных больше чем на 2 часа
⭐️ стейджинг-слой, который хранит сырые JSON без изменений
⭐️ автоматический добор данных за последние 3 дня при любом сбое
Когда у тебя есть сырой архив, поломка API — это не катастрофа, а просто 5 минут на перезапуск пайплайна. Что думаете?
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дата-инженерия для маркетинга 🛠
Антон Хоменок про дата-инженерия для маркетинга 🛠
@xomenok_data_hm
🧠 Почему API рекламных площадок постоянно ломаются и как с этим жить
Этот пост опубликован в Telegram-канале Антон Хоменок про дата-инженерия для маркетинга 🛠. Подписаться можно по ссылке: @xomenok_data_hm.