Автоматизация Facebook Ads API и TikTok Business API: где ломается сбор данных

Автоматизация Facebook Ads API и TikTok Business API: где ломается сбор данных

Ручной экспорт из кабинетов убивает сходимость: разные часовые пояса, задержки в API, дубли по campaign_id и потерянные spend-строки. Нормальная схема начинается не с дашборда, а с raw-слоя, куда данные падают как есть: JSON в объектное хранилище, затем парсинг в staging и только потом — витрина.

Критичные точки:
• хранить неизменённый payload, чтобы можно было пересчитать маппинг полей без повторного запроса;
• дедуплицировать по ключу account_id + date + entity_id + breakdown;
• отдельно логировать rate limit, 429 и пустые ответы, иначе ETL будет «успешным» только на бумаге;
• синхронизировать timezone, currency и window атрибуции до загрузки в BI.

Для инкрементальной загрузки не тяните всё подряд. Забирайте только изменённые интервалы, держите watermark по дате обновления и делайте backfill по расписанию. Если API отдаёт частично заполненные поля, не подставляйте нули автоматически: это маскирует лаги и ломает проверку сходимости дельты в трекере и кабинете.

Всё, что не автоматизировано — это потенциальный убыток. Постройте цепочку: API-хук → очередь → raw storage → трансформация → контроль качества → BI. Где именно течет профит? Обычно не в отчёте, а в месте, где данные тихо теряются между запросом и витриной.