S-Adam: оптимизатор для неровного ландшафта, где AdamW уже начинает дрожать
В arXiv вышел Singularity-aware Adam (S-Adam) — оптимизатор, который динамически меняет шаг через локальную геометрическую нестабильность.
Ключевая метрика — Local Geometric Instability (LGI): она оценивает диаметр субдифференциала Clarke по дисперсии случайных направленных производных.
Авторы добавляют демпфирование exp(-λρ): в зонах с высокой нестабильностью шаги замедляются, а в гладких басинах скорость сохраняется.
В теории заявлена сходимость почти наверное к (δ,ε)-Clarke stationary points со скоростью O(1/√T).
На практике это интересно там, где обычный AdamW начинает ловить осцилляции: QAT, маленькие батчи, шумные градиенты.
В экспериментах S-Adam обошёл AdamW и Prox-SGD: до +6% на CIFAR-100 и до +3% на TinyImageNet.
Если у вас файнтюн под жёсткую квантизацию или нестабильный лосс, такой адаптивный damping стоит смотреть раньше, чем опять крутить lr и weight decay.
Open Source LLM — Llama / Qwen / DeepSeek
@open_source_llm_aff
S-Adam: оптимизатор для неровного ландшафта, где AdamW уже начинает дрожать
Источники:
Этот пост опубликован в Telegram-канале Open Source LLM — Llama / Qwen / DeepSeek. Подписаться можно по ссылке: @open_source_llm_aff.