활성화함수3 17. 다층 퍼셉트론(MPL)의 등장-2.비선형 회귀식(심화이론) 저번시간에 단순 선형회귀식의 한계를 확인하고 대책으로 비선형 회귀식을 제시하였다. 이를 위해 다층 퍼셉트론의 이용과 비선형함수로 시그모이드 대신 ReLU 함수를 사용할 것을 확인하였다. 순방향 전파는 아래와 같다. G는 선형연산(WX + B) 이고 R은 ReLU 함수이다. 이번 시간에는 순방향 전파, 역전파를 이용한 도함수를 구할 것이다. 1. 데이터 정의 데이터는 아래와 같이 키, 몸무게를 이용할 것이다. '12. 단층 퍼셉트론의 한계-2.선형 회귀식의 한계' 에서 아래와 같은 데이터에서는 선형 회귀식으로 모델을 만들기 어렵다고 결론을 내렸었다. 그야말로 총체적 난국이다 (...) 입력, 목표값, 가중치, 편향은 아래와 같다. shape을 유심히 보길 바란다. 1) 입력 : input (batch_si.. 2022. 1. 21. 16. 다층 퍼셉트론(MPL)의 등장-2.비선형 회귀식(기초이론) 이전 시간에 XOR 문제를 다층 퍼셉트론을 이용하여 해결하였다. 이번에는 ' 12. 단층 퍼셉트론의 한계-2.선형 회귀식의 한계' 에서 해결하지 못한 회귀식을 비선형 회귀식으로 어떻게 해결할 수 있는지 이론적 바탕을 알아보겠다. 해결 아이디어는 앞서 활용했던 다층 퍼셉트론을 이용하는 것이다. XOR에서 사용했던 방법을 떠올려 보면 1. 기울기 손실 문제 간단한 데이터에서는 큰 문제가 없는데 데이터가 많아지고 복잡해 질 수록 활성화 함수로 사용되는 시그모이드가 문제를 일으킨다. 가중치를 업데이트 할 때 역전파를 실시하는데 시그모이드 함수와 도함수를 그래프로 살펴보자. 초록색은 시그모이드 함수, 파란색은 시그모이드의 도함수, a값은 0에서의 시그모이드 도함수 값이다. 시그모이드 도함수의 값이 최대 1/4 밖.. 2022. 1. 20. 3. 입력이 여러 개인 함수와 도함수의 표현 입력이 여러 개인 함수와 도함수는 어떻게 표현할 수 있는지 알아보자. 간단한 함수부터 출발하자. 입력 x, y를 받아서 더하여 출력한다. geogebra로 그려보면 x, y, z로 이루어진 3차원에서 2차원 평면 그래프가 그려진다. sigmoid라고 하여 딥러닝에서 많이 봤던 함수와 합성하고자 한다. 로 정의되는 함수고, 이렇게 그려지는 함수다. 보통 classification, 분류에서 사용할 수 있는 활성화함수로도 쓰인다. g(x) -> f(x)로 합성시킬 것이다. 이 합성함수의 그래프를 파이썬으로 그려보자. matplotlib의 3차원 모듈을 이용할 것이다. from mpl_toolkits.mplot3d import axes3d import numpy as np import matplotlib.py.. 2021. 12. 28. 이전 1 다음
