«BigQuery медленный для маркетинговых запросов — берите ClickHouse»
Откуда миф. Люди слышат про «колоночные СУБД для аналитики», читают бенчмарки на терабайтных датасетах и переносят вывод на типичные задачи маркетинга: выгрузка расходов по кампаниям, когортный отчёт по retention (удержанию), склейка CRM с рекламными площадками. На таких объёмах (десятки-сотни миллионов строк) BigQuery часто проигрывает ClickHouse в синтетических тестах на скорость.
Почему это не так однозначно.
— Латентность холодного запроса в BigQuery действительно выше, но для регулярной отчётности это неважно: запрос выполняется раз в час, а не в момент клика пользователя.
— Реальный узкий маркетинговой аналитики — не «как быстро вытащить 50 млн строк», а «как быстро свести источники с разной схемой и не сойти с ума от JOIN (операции соединения таблиц)». Здесь BigQuery выигрывает SQL-диалектом, встроенными UDF (пользовательскими функциями) и federated queries к Google Sheets, GA4, Bigtable.
— ClickHouse требует инженерной обвязки: шардирование, репликация, бэкапы, Kafka для стриминга. Для маркетинговой команды это содержание отдельного дата-инженера.
Что вместо. Правило простое: если данных меньше ~500 млн строк и команда работает в экосистеме Google — берите BigQuery и закрывайте задачи на стандартном SQL. ClickHouse имеет смысл при потоковой телеметрии (логи, события приложения) или когда SQL-запрос должен отдаваться пользователю за секунду. Для еженедельной сводки по 12 рекламным кабинетам — это другая задача и другой бюджет.
Инструмент выбирается под данные и команду, а не под строчку в бенчмарке.
— @BigQuery4MarketingPro
BigQuery для маркетологов
@BigQuery4MarketingPro
«BigQuery медленный для маркетинговых запросов — берите ClickHouse»
Этот пост опубликован в Telegram-канале BigQuery для маркетологов. Подписаться можно по ссылке: @BigQuery4MarketingPro.