19. 경사하강법과 단순 경사하강법의 문제점
경사하강법(Gradient descent)은 오차함수의 기울기를 구하고 기울기의 절대값이 낮은 쪽으로 계속 이동시켜 오차를 최소화하는 방법이다. 지금까지 사용한 경사하강법 방법은 아래와 같이 오차함수의 기울기를 구하고 Weight값과 Bias 값을 수정하였다. for i in range(Epochs): dL_dW1, dL_dB1, dL_dW2, dL_dB2, dL_dW3, dL_dB3 = loss_gradient(inputs, targets, W1, B1, W2, B2, W3, B3) W1 = W1 + -1*learning_rate * dL_dW1 B1 = B1 + -1*learning_rate * dL_dB1 W2 = W2 + -1*learning_rate * dL_dW2 B2 = B2 + -1*lea..
2022. 1. 28.
