💰 Почему ваш ClickHouse может «съесть» бюджет на хранение

Все привыкли хвалить эту базу за скорость, но мало кто говорит про эффективное управление местом на диске, когда речь идет о миллиардах строк логов.

Уверен, многие просто льют данные в MergeTree таблицы по дефолту. На самом деле, правильный подбор ORDER BY и использование кодеков сжатия вроде ZSTD экономят до 40% веса данных.

Пара советов из моего опыта:
⭐️ делайте TTL (Time To Live) на сырые данные — нет смысла хранить логи кликов пятилетней давности в горячем хранилище
⭐️ используйте материализованные представления для агрегатов, а старые исходники переносите в холодное облако
⭐️ в одном из проектов так снизили расходы на инфраструктуру почти в два раза

Кайф, когда оптимизация кода напрямую превращается в сэкономленные деньги компании.

Следите за стоимостью хранения или бюджет пока позволяет не париться?

➖➖➖➖➖➖➖➖➖➖
Антон Хоменок про дата-инженерия для маркетинга 🛠