ETL-пайплайны: базовое напоминание по архитектуре

ETL-пайплайны: базовое напоминание по архитектуре

В старых data-средах ETL обычно проектировали как scheduled job: забрать данные из одной системы, переложить в другую по расписанию.

Для трекинга и attribution это важный контекст: если пайплайн живет в batch-режиме, любые downstream-решения завязаны на задержку расписания. Это не проблема сама по себе, но ее нужно учитывать в схемах, где ожидается быстрый postback / синхронизация событий между системами.

Что проверить у себя:
- какие джобы до сих пор работают только по cron;
- где задержка ETL влияет на отчеты и сверки;
- какие интеграции фактически требуют near real-time, а не scheduled transfer.