optimizer

1. GD(Gradient Descent)

2. SGD(Se /gradient Descent)

3. momentum : 관성을 적용하여 GD, SGD가 0에 수렴하는 부분에서 끊임없이 진동하는 문제점을 보완

4. adagrad(adaptive gradient) : 고정된 학습률 값으로 인한 문제점을 해결

5. adam(adagrad + momentum)

 

Momentum

momentum: 관성

$$ v_{t}x(상수:0.9정도)=v_{t-1}+lr\nabla_{w}L(w) $$

$$ w_{t}=w_{t-1}-v_{t} $$

https://ynebula.tistory.com/26

[Deep Learning-딥러닝]가중치 조정 - Momentum

 

AdaGrad

고정된 학습률 값으로 인한 문제점을 해결

$$ w_{t} = w_{t-1}-{12 \over \sqrt{G_{t}+\varepsilon}}\nabla G$$

$$ G_{t} = G_{t-1}-(\nabla_{w}L(w))^2 $$

https://light-tree.tistory.com/140

딥러닝 용어정리, Momentum, AdaGrad 설명

 

adam

adagrad + momentum

$$ w_{t}=w_{t-1}-{12 \over \sqrt{G_{t}+\varepsilon}}\widehat{v_{t}} $$

$$ \widehat{v_{t}}= {v_{t} \over 1-{\beta_{2}}^2} $$

$$ v_{t}=\beta_{1}v_{t-1}+(1-\beta_{2})\nabla_{w}L(w) $$