Автоматизация масштабирования прокси-слоя: какие сигналы нужны системе, а не человеку

Прокси-слой масштабируют не по ощущению, а по измеримым признакам нагрузки. Анализ показал, что ручной триггер обычно запаздывает: к моменту реакции уже растут очереди, таймауты и процент повторных соединений.

Собирайте минимум три группы метрик:
— входящий RPS и скорость установления соединений;
— p95/p99 задержки на прокси и на апстриме;
— долю ошибок 5xx, 429 и обрывов TCP.
Отдельно держите метрики очередей, числа активных сессий и утилизации CPU, но не принимайте решения только по ним.

Автоскейлер должен смотреть на корреляцию, а не на один пик. Если растёт CPU, но латентность стабильна и очередь пуста, масштабирование может только увеличить стоимость и создать лишний флаппинг. Если же p95 и retransmits растут одновременно, а новые подключения начинают ждать слот, это уже сигнал на расширение пула.

Рекомендуется обратить внимание на метрику насыщения: отношение фактической нагрузки к доступной ёмкости одного узла. Для прокси это часто точнее, чем абстрактный процент загрузки. Добавьте гистерезис, cooldown и лимит шага, иначе система начнёт дергаться на коротких всплесках.

Автоматизация работает только там, где есть прозрачная модель емкости. Если её нет, сначала измерьте предел узла, затем задайте правила роста и отката, и лишь после этого включайте автоскейлинг.