Сбор аналитики на своем железе: где ломается схема и как это не скрыть

Если вы тянете аналитику на собственный сервер, у вас быстро появляются три точки отказа: диск, сеть и доверие к данным. Первое правило — не хранить сырые события и агрегаты в одной базе без лимитов. Второе — сразу разделить ingestion, обработку и витрину, иначе любая вспышка трафика положит отчетность.

Базовый контур простой: прием через HTTP/HTTPS, очередь между приемом и записью, хранилище с ротацией логов и отдельный бэкап. Для малого объема хватает Nginx как фронта, PostgreSQL или ClickHouse как хранилища, плюс cron для дампов. Для событий с высоким потоком нужна очередь, иначе потеряете данные при пиках или рестарте сервиса.

По безопасности не экономят: закрытый SSH, вход только по ключам, firewall по белому списку, TLS на приемнике, отдельный пользователь под сервис и минимум прав на файловой системе. Доступ к сырью и к отчетам надо разнести. Иначе любой компрометированный дашборд становится доступом к данным.

Проверяйте не «работает ли», а «что будет при отказе»: отключите один диск, перезапустите сервис приема, искусственно забейте очередь. Если система не теряет события и поднимается без ручных правок, она готова к бою. Стабильность — это отсутствие магии, только предсказуемая конфигурация.