Один из самых дорогих уроков в инфраструктуре всегда приходит ночью.

Один из самых дорогих уроков в инфраструктуре всегда приходит ночью.

У клиента всё выглядело спокойно: сайт отвечал, мониторинг молчал, бэкапы «успешно выполнялись». Пока не понадобилось восстановление. Оказалось, что копии писались на тот же том, что и база, а проверку восстановления никто не делал месяцами. После сбоя диск поднялся частично, и вместо резерва получили аккуратно сохранённую проблему.

Самая неприятная часть таких историй не в падении сервера. А в иллюзии, что резерв есть. На практике важны не только копии, но и отдельное хранилище, регулярные тесты восстановления и понятная схема, где отказ одного узла не тянет за собой всё остальное. 🔧

В инфраструктуре надёжность начинается не с кнопки «backup», а с проверки того, что из него действительно можно вернуться.