Мониторинг узлов ломается не в алертах, а в неверной модели доступности
Для сетевого узла важно измерять не только факт ответа, но и путь до него. Если проверка идет с одного контроллера, она видит лишь локальный срез. В распределенной схеме нужно разделять: достижимость по ICMP, доступность сервиса по TCP/HTTP и задержку на каждом участке маршрута.
Анализ показал, что большинство ложных срабатываний возникает из-за трех ошибок: слишком редкий опрос, отсутствие порогов по p95/p99 и смешивание краткого джиттера с устойчивой деградацией. Рекомендуется обратить внимание на метрику не только средней задержки, но и разброса: если среднее стабильно, а хвост растет, пользователь уже видит деградацию.
Рассмотрим архитектурный срез по данному узлу. Полезная схема проста: 1) внешний синтетический опрос из нескольких точек, 2) локальные метрики интерфейсов и очередей, 3) состояние соседей и ошибок на линке, 4) корреляция с потерями пакетов и ретрансмитами. Если один слой молчит, следующий должен дать контекст.
Отдельно проверьте, что алерты разделены по классам: недоступность, рост задержки, потеря пакетов, деградация маршрута. Тогда инцидент не превращается в один общий шум, а раскладывается по причине. Данные подтверждают следующую корреляцию: чем лучше разделены сигналы, тем быстрее находится точка отказа.
Если мониторинг отвечает на вопрос «узел жив?» без ответа «насколько он пригоден для трафика», система слепнет в самый важный момент.
Прокси-инфра
@proxy_infra_desk_arb
Мониторинг узлов ломается не в алертах, а в неверной модели доступности
Этот пост опубликован в Telegram-канале Прокси-инфра. Подписаться можно по ссылке: @proxy_infra_desk_arb.