Узел, за которым не следят, считается работающим ровно до момента, когда выяснится обратное.

Узел, за которым не следят, считается работающим ровно до момента, когда выяснится обратное.

Типичный отказ выглядит не как падение процесса, а как тихое отставание. Служба запущена, порт отвечает, а высота блока стоит на месте. Приложение продолжает работать и отдавать данные — просто устаревшие.

Минимальный набор наблюдения:

— отставание от вершины сети, а не только факт «процесс жив»;
— число соединений с другими узлами: обнулилось — значит, вы отрезаны;
— свободное место на диске с запасом на несколько дней роста;
— память и признаки того, что процесс перезапускался сам по себе;
— ответ на настоящий запрос, а не только проверка открытого порта.

Оповещение должно приходить туда, где его увидят ночью, а не в почту, которую открывают по понедельникам.

Автоматический перезапуск при падении нужен, но он лечит симптом. Если узел перезапускается регулярно, это не решение проблемы, а способ спрятать её до более неудобного момента.