Новая активация LTanh обещает меньше мучить глубокие сети с градиентом

Новая активация LTanh обещает меньше мучить глубокие сети с градиентом

Автор статьи показывает LTanh — гибрид Tanh, который сохраняет плавную форму, но даёт куда более сильный градиент в хвостах. По его расчётам, там LTanh может быть в 150–850 000 раз “живее” обычного Tanh, при этом оставаясь ограниченной и гладкой. Для тех, кто тренирует глубокие сети, это повод присмотреться: может помочь там, где Tanh слишком быстро “затухает”.

IT Ижевск — t.me/it_izhevsk