Один из самых дорогих уроков в инфраструктуре — это не падение сервера, а «почти всё работает».

Один из самых дорогих уроков в инфраструктуре — это не падение сервера, а «почти всё работает».

У нас однажды умер не диск, не сеть и не DNS. Подвёл обычный лимит на исходящую почту: нагрузка выросла, очередь начала расти, а алерты молчали, потому что система формально жила. Внешне сервисы отвечали, панели открывались, логи крутились. А клиенты уже не получали письма, тикеты зависали, восстановление паролей превращалось в лотерею.

Проблема оказалась в том, что метрики считали только доступность, но не качество доставки. После этого в мониторинг добавили глубину очередей, время ретраев и отдельные алерты по SMTP-ошибкам.

Вывод простой: инфраструктура редко падает красиво. Чаще она тихо деградирует, пока кто-то не заметит это у клиента. Именно поэтому в хостинге важно следить не только за up/down, но и за тем, что происходит внутри 🚨