UNPIVOT в BigQuery: почему маркетологи продолжают делать это руками

UNPIVOT в BigQuery: почему маркетологи продолжают делать это руками

Семь лет в работе с маркетинговой аналитикой, и я до сих пор вижу одну и ту же картину: выгрузка из рекламного кабинета приходит в «широком» формате, аналитик руками перекладывает её в длинный (long) формат, тратит на это от часа до дня, и только потом строит отчёт. Зачем — спрашиваю. «Так удобнее», — отвечают. И добавляют, что попробовали UNPIVOT, получилось криво, вернулись к Excel.

Проблема не в функции. Проблема в подходе к ней.

UNPIVOT в BigQuery — это не «замена ручной работы». Это смена мышления с ячейки на строку. Когда вы привыкли думать таблицей, где столбцы — это метрики (показы, клики, расход, конверсии), переход к длинной структуре кажется избыточным. Но именно длинный формат — это язык, на котором SQL считает что-то осмысленное. Любая нормальная агрегация по креативам, площадкам, неделям и сегментам одновременно в широком формате превращается в портянку CASE WHEN. В длинном — один GROUP BY.

Практическое наблюдение из проектов: команды, которые перешли на UNPIVOT как стандарт ещё на этапе слоя STG (стейджинга), в среднем экономят около 30% времени аналитика на подготовку еженедельной отчётности. Это не магия — просто исключается шаг ручной перекладки и связанные с ним ошибки (пропущенный столбец, потерянный ноль, съехавшая формула).

Типичный шаблон выглядит так: в исходных данных у вас столбцы impressions, clicks, cost, conversions. После UNPIVOT по столбцам с метриками вы получаете две колонки — metric_name и metric_value. Дальше фильтр WHERE metric_name IN (...) и обычная агрегация. Если нужны разные типы данных в value (а cost у вас дробный, а клики целые) — приводите к NUMERIC на этапе UNPIVOT, иначе BigQuery ругнётся.

Что чаще всего идёт не так:

— забывают EXCLUDE — и в длинную таблицу уезжают колонки, которые не должны быть метриками (название кампании, дата, ID объявления);
— пытаются UNPIVOT-ить сразу всё подряд, включая идентификаторы, и удивляются, что строк стало в десять раз больше, чем нужно;
— используют UNPIVOT там, где хватает простого SELECT AS STRUCT — это про другое, но новички путают.

Если вы в команде до сих пор перекладываете выгрузки руками — это не особенность ваших данных. Это привычка, которая стоит вам аналитических часов. Попробуйте UNPIVOT на одной таблице, выделите метрики в отдельный список, посмотрите на разницу в коде отчёта. Дальше — вопрос дисциплины.

А вы уже перевели свои отчёты на длинный формат, или ещё сидите в широком?

— @BigQuery4MarketingPro