Однажды на проде мы поймали странный эффект: Nginx был жив, CPU почти пустой, а пользователи жаловались на «по

Однажды на проде мы поймали странный эффект: Nginx был жив, CPU почти пустой, а пользователи жаловались на «подвисания». Логи показывали всплески 499 и редкие 504, но не было ни явной ошибки БД, ни падения приложений.

Оказалось, проблема была не в Nginx, а в цепочке между ним и апстримом. Один из серверов в пуле начал отвечать заметно медленнее остальных, и балансировка по кругу аккуратно разносила задержку на всех. Внешне это выглядело как случайные тормоза, а по факту — как один «тяжёлый» узел, который отравлял весь кластер.

Что помогло: быстрое health-check выключение медленного апстрима, отдельные таймауты на upstream и нормальная метрика p95 по каждому серверу, а не только средняя по пулу. 🔧

Вывод простой: если всё «вроде работает», но пользователи уже жалуются — смотрите не на сервис целиком, а на поведение каждого узла в цепочке.