Собственная аналитика на своем железе: где обычно ломается сбор

Собственная аналитика на своем железе: где обычно ломается сбор

Если трафик уже идет, а события теряются, проблема почти всегда в схеме сбора: DNS, TLS, очередь, диск и права на запись. На своем сервере аналитика выигрывает не «независимостью», а тем, что вы контролируете задержку, логи и точку отказа.

Базовая схема простая: nginx как входной слой, отдельный collector, PostgreSQL или ClickHouse под хранение, Redis или Kafka под буфер. Для вебхуков и пикселей ставьте отдельный endpoint, не смешивайте его с админкой. Сразу закройте все лишнее в firewall, SSH — только по ключам, root login отключить.

Проверьте три вещи до запуска: • лимит файловых дескрипторов и размер очереди • ротацию логов и место на диске • retry policy на стороне клиента. Если collector отвечает 200, это еще не значит, что данные дошли; смотрите не только access log, но и счетчик принятых событий, лаг очереди, количество дубликатов.

Если объем растет, разделяйте ingest и отчетность: сбор пишет в одно хранилище, BI читает из другого. Иначе любая тяжелая выборка начнет тормозить прием событий. Стабильность — это отсутствие магии, только предсказуемая конфигурация.

Разворачиваем, проверяем, мониторим. Если на графике нет потерь, лаг очереди держится в норме, а бэкапы восстанавливаются без сюрпризов — система готова к трафику.