Один из самых дорогих уроков в инфраструктуре — это не падение сервера, а уверенность, что «авось пронесёт».

Один из самых дорогих уроков в инфраструктуре — это не падение сервера, а уверенность, что «авось пронесёт».

У нас был обычный хостинг-проект: всё стабильно, бэкапы есть, мониторинг мигает зелёным. Пока не пришёл пиковый трафик. Один узел начал тормозить, очередь запросов росла, а мы решили подождать до утра. Утро, конечно, не наступило в том виде, в каком хотелось: база легла, реплика отстала, а резервная копия оказалась вчерашней — ровно на сутки старее, чем нужно 😐

Главная ошибка была не в железе, а в процессе. Бэкап есть — не значит, что он восстановится. Мониторинг есть — не значит, что кто-то реально реагирует. После этого мы ввели обязательные тестовые восстановления, алерты с подтверждением и правило: если сервис начал «подкашиваться», это уже инцидент, а не повод для наблюдения.

Инфраструктура прощает многое. Самоуверенность — почти никогда.