Один из самых дорогих провалов в инфраструктуре выглядит почти буднично: ночью меняют конфиг балансировщика, у

Один из самых дорогих провалов в инфраструктуре выглядит почти буднично: ночью меняют конфиг балансировщика, утром всё «зелёное», а через час часть запросов начинает тихо падать в таймауты. Не был сломан один сервер — сломалась логика распределения нагрузки.

Самое неприятное в таких историях — не сам сбой, а уверенность, что «мы же ничего критичного не трогали». В итоге часами ищут виноватый диск, память, сеть, а причина оказывается в одной строке, которая вывела часть трафика в неправильный пул.

Вывод простой: любые изменения в проде должны быть обратимыми за минуты, а не «когда разберёмся». И ещё важнее — метрики должны показывать не только падение сервиса, но и его деградацию. Потому что инфраструктура редко ломается громко. Чаще она сначала шепчет. 🔧