🛠 Как настроить мониторинг качества данных

Ребят, минимум-программа для DWH:

🔸 Freshness checks — не отстают ли данные от источника более чем на N часов
🔸 Volume checks — объём загружаемых записей в пределах ±30% от исторического
🔸 Uniqueness — первичные ключи уникальны
🔸 Null checks — обязательные колонки не null
🔸 Range checks — суммы > 0, даты не в будущем

Все алерты — в telegram или slack. Пороги настраивать по факту, не в лоб.

Инструменты: dbt tests (базово), Great Expectations (продвинуто), Soda (для энтерпрайза).

Без мониторинга DWH превращается в чёрный ящик за 3-4 месяца.

#Ворк #Топхак
➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дата-инженерия для маркетинга 🛠