🚀 Экономим бюджет BigQuery через инкрементальные модели

Когда данных становится много, делать full refresh каждый час — это просто сжигать деньги компании.

Ребят, внедряйте инкременталки в dbt как можно раньше:
⭐️ Суть проста: забираем только новые строки с момента последней загрузки, а не пересчитываем всё за год.
⭐️ Важно: всегда добавляйте уникальные ключи, иначе получите дубли, которые потом чистить замучаетесь.
⭐️ Плюс я всегда советую настраивать периодический полный пересчёт раз в неделю на всякий случай.

У меня на одном проекте переход на инкременталки снизил стоимость запросов в 4 раза. Как у вас с расходами на облако, следите за этим?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дата-инженерия для маркетинга 🛠