본문 바로가기

비선형 회귀분석2

18. 다층 퍼셉트론(MPL)의 등장-2.비선형 회귀식(실습) 저번시간에 키와 몸무게의 관계를 예측하는 모델을 만들기 위해 다층 퍼셉트론과 ReLU 활성화함수를 이용하고 순방향과 역전파를 수학적으로 표현해 보았다. 이번 시간에는 수학적 표현을 Numpy 코드로 표현해 보고 Pytorch 결과와 비교해보도록 하겠다. 1. 데이터 정의 저번시간에 정의한 데이터, 가중치 및 편향 설정이다. 1) 입력 : input (batch_size, 1) 2) 목표값 : target (batch_size, 1) 3) 가중치 및 편향 (1) G1 가중치 : W1 (8, 1) , G1 편향 : B1 (8, 1) (2) G2 가중치 : W2 (4, 8) , G1 편향 : B2 (4, 1) (3) G3 가중치 : W3 (1, 4) , G1 편향 : B3 (1, 1) 코드로 표현하면 아래와 .. 2022. 1. 21.
16. 다층 퍼셉트론(MPL)의 등장-2.비선형 회귀식(기초이론) 이전 시간에 XOR 문제를 다층 퍼셉트론을 이용하여 해결하였다. 이번에는 ' 12. 단층 퍼셉트론의 한계-2.선형 회귀식의 한계' 에서 해결하지 못한 회귀식을 비선형 회귀식으로 어떻게 해결할 수 있는지 이론적 바탕을 알아보겠다. 해결 아이디어는 앞서 활용했던 다층 퍼셉트론을 이용하는 것이다. XOR에서 사용했던 방법을 떠올려 보면 1. 기울기 손실 문제 간단한 데이터에서는 큰 문제가 없는데 데이터가 많아지고 복잡해 질 수록 활성화 함수로 사용되는 시그모이드가 문제를 일으킨다. 가중치를 업데이트 할 때 역전파를 실시하는데 시그모이드 함수와 도함수를 그래프로 살펴보자. 초록색은 시그모이드 함수, 파란색은 시그모이드의 도함수, a값은 0에서의 시그모이드 도함수 값이다. 시그모이드 도함수의 값이 최대 1/4 밖.. 2022. 1. 20.