Инфра была почти полностью описана кодом, мониторинг тоже показывал зелёный свет по всем компонентам. База — ок, соседние сервисы на том же сервере — ок, облако — тоже без тревог. А продакшн тем временем лежал 20 минут, и первые 15 минут команда не понимала, где копать.
Причину нашли только в истории изменений инфраструктуры — туда сначала никто не заглянул. Хорошее напоминание для айтишников Казани: зелёные графики не гарантируют, что всё реально живо. Иногда спасает не дашборд, а внимательный разбор git-истории. 🔍
IT Казань — t.me/itkazan_news
IT Казань
@itkazan_news
Все зелёное, а прод лежит: баг нашли не в метриках, а в git
Источники:
Этот пост опубликован в Telegram-канале IT Казань (@itkazan_news). Все его публикации — на странице канала.
Открыть в Telegram