🕵️‍♂️ Вчера искал баг 4 часа, а дело было в одном дубле от API

В маркетинговых данных всегда что-то отваливается, даже если твой SQL-код идеален как швейцарские часы.

Клиент заметил, что ROI по одной кампании улетел в космос. Оказалось, в API рекламного кабинета прилетело дублирующее событие с кривым ID транзакции. Мой пайплайн это проглотил, а dbt-тесты, которые я поленился расширить на этот случай, просто промолчали.

Короче, выводы такие:
🔴 никогда не доверяйте входящему потоку от площадок на 100%
🔴 добавил проверку на unique_key по связке даты, ID и суммы
🔴 теперь пайплайн падает с алертом, если видит подозрительный дубль

Блин, обидно тратить полдня на такую мелочь, зато теперь этот участок кода забетонирован.

Какой самый нелепый баг ловили в своих пайплайнах? Пишите в комменты.

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дата-инженерия для маркетинга 🛠