Gradient Vanishing1 16. 다층 퍼셉트론(MPL)의 등장-2.비선형 회귀식(기초이론) 이전 시간에 XOR 문제를 다층 퍼셉트론을 이용하여 해결하였다. 이번에는 ' 12. 단층 퍼셉트론의 한계-2.선형 회귀식의 한계' 에서 해결하지 못한 회귀식을 비선형 회귀식으로 어떻게 해결할 수 있는지 이론적 바탕을 알아보겠다. 해결 아이디어는 앞서 활용했던 다층 퍼셉트론을 이용하는 것이다. XOR에서 사용했던 방법을 떠올려 보면 1. 기울기 손실 문제 간단한 데이터에서는 큰 문제가 없는데 데이터가 많아지고 복잡해 질 수록 활성화 함수로 사용되는 시그모이드가 문제를 일으킨다. 가중치를 업데이트 할 때 역전파를 실시하는데 시그모이드 함수와 도함수를 그래프로 살펴보자. 초록색은 시그모이드 함수, 파란색은 시그모이드의 도함수, a값은 0에서의 시그모이드 도함수 값이다. 시그모이드 도함수의 값이 최대 1/4 밖.. 2022. 1. 20. 이전 1 다음
