딥러닝 최적화 기법1 20. 경사하강법의 개선 - Momentum, RMSprop 지난 시간에 단순 경사하강법은 수렴 가능성이 생각보다 낮다는 것을 보여주었다. 이번 시간은 경사하강법을 개선하여 빠르게 수렴하면서 지역 최소점에 수렴하지 않도록 할 수 있는지 보여줄 것이다. 저번 포스트에서 처럼 아래와 같은 오차 함수에 대해 단순 경사하강법을 진행하였다. 단순 경사하강법(GD)로는 시작 위치 -8일 때 움직임은 다음과 같다. (1) learning rate = 1 이상부터 지역최소점 통과 (2) learning rate = 1.4 이상부터 전체 최소점 또는 지역 최소점 근처에서 진동하고 제대로 수렴하지 않는다. (3) learning rate = 2.2 이상부터 overflow, 튕겨버린다. 1. Momentum 일반적으로 물리에서 Momentum(모멘텀) 이라 함은 '운동량'을 뜻한다.. 2022. 2. 4. 이전 1 다음
