После обычного обновления прошивки часть core-серверов Cloudflare стала подниматься не за минуты, а почти за четыре часа. На одном boot cycle уходило около 20 минут: система по кругу пыталась IPv4 HTTPS network boot, потом IPv4 iPXE, затем повторяла оба сценария, прежде чем доходила до рабочей IPv6 HTTPS boot interface. Каждая неудачная попытка съедала примерно 5 минут на timeout.
Для bare metal это неприятный, но очень полезный кейс. Если у вас VPS/хостинг-ферма на собственных узлах, прошивка и boot chain — не «раз в год проверить», а часть SLA. Один кривой update может не сломать сервер окончательно, но убить скорость возврата после ребута, а это уже простой, окна техработ и лишняя нервозность у команды.
Самый практичный вывод тут простой: после firmware-обновлений надо отдельно прогонять полный цикл перезагрузки, а не смотреть только на “успешно применилось”.
Внутреннее обучение арбитражной команды
@arbteamlearning
Один firmware update у Cloudflare растянул возврат core-серверов с минут до 4 часов
Этот пост опубликован в Telegram-канале Внутреннее обучение арбитражной команды (@arbteamlearning). Все его публикации — на странице канала.
Открыть в Telegram