Однажды у нас «упал» не сервер, а уверенность в бэкапах.

Однажды у нас «упал» не сервер, а уверенность в бэкапах.

Всё выглядело идеально: RAID есть, мониторинг моргает зелёным, диски живы. Но после неудачного обновления конфигов nginx часть виртуалок стартовала с битым storage-mount, а копии… лежали на том же хосте, что и прод. В момент аварии это оказалось не резервное копирование, а просто ещё одна точка отказа.

Что спасло? Три вещи: отдельный backup-host, проверка восстановления раз в неделю и правило — сначала тестовый рестор, потом гордость 😅

Вывод простой: в инфраструктуре надёжность измеряется не наличием бэкапа, а способностью быстро подняться из него. И если план восстановления не проверялся руками, это не план, а надежда.