UNSTRUCTURED-данные тянут в BigQuery раньше, чем чистят

UNSTRUCTURED-данные тянут в BigQuery раньше, чем чистят

Запросы клиентов в аналитику за последний месяц всё чаще звучат одинаково: «у нас уже льются сырые события в BigQuery, а нормализовать под маркетинг мы начнём потом». Имеются в виду данные из CRM, офлайн-заказы, логи колл-центра, выгрузки из POS-систем.

То есть стадия проектирования схемы под маркетинговые задачи фактически пропускается. Команды грузят таблицу «как есть», а затем тратят недели на то, чтобы привести колонки к единому виду, понять, что считать конверсией, и разобраться, какие поля вообще нужны для воронки.

Похоже, что дёшево залить сырьё в облачное хранилище стало проще, чем заранее договориться о структуре. На этапе «просто загрузим и посмотрим» останавливаться перестали — загружают сразу всё.

А у вас как: данные в BigQuery попадают уже в подготовленном виде, или сначала приходит сырьё, а нормализация начинается по факту первого запроса?

— @BigQuery4MarketingPro