본문 바로가기

딥러닝 이론34

18. 다층 퍼셉트론(MPL)의 등장-2.비선형 회귀식(실습) 저번시간에 키와 몸무게의 관계를 예측하는 모델을 만들기 위해 다층 퍼셉트론과 ReLU 활성화함수를 이용하고 순방향과 역전파를 수학적으로 표현해 보았다. 이번 시간에는 수학적 표현을 Numpy 코드로 표현해 보고 Pytorch 결과와 비교해보도록 하겠다. 1. 데이터 정의 저번시간에 정의한 데이터, 가중치 및 편향 설정이다. 1) 입력 : input (batch_size, 1) 2) 목표값 : target (batch_size, 1) 3) 가중치 및 편향 (1) G1 가중치 : W1 (8, 1) , G1 편향 : B1 (8, 1) (2) G2 가중치 : W2 (4, 8) , G1 편향 : B2 (4, 1) (3) G3 가중치 : W3 (1, 4) , G1 편향 : B3 (1, 1) 코드로 표현하면 아래와 .. 2022. 1. 21.
17. 다층 퍼셉트론(MPL)의 등장-2.비선형 회귀식(심화이론) 저번시간에 단순 선형회귀식의 한계를 확인하고 대책으로 비선형 회귀식을 제시하였다. 이를 위해 다층 퍼셉트론의 이용과 비선형함수로 시그모이드 대신 ReLU 함수를 사용할 것을 확인하였다. 순방향 전파는 아래와 같다. G는 선형연산(WX + B) 이고 R은 ReLU 함수이다. 이번 시간에는 순방향 전파, 역전파를 이용한 도함수를 구할 것이다. 1. 데이터 정의 데이터는 아래와 같이 키, 몸무게를 이용할 것이다. '12. 단층 퍼셉트론의 한계-2.선형 회귀식의 한계' 에서 아래와 같은 데이터에서는 선형 회귀식으로 모델을 만들기 어렵다고 결론을 내렸었다. 그야말로 총체적 난국이다 (...) 입력, 목표값, 가중치, 편향은 아래와 같다. shape을 유심히 보길 바란다. 1) 입력 : input (batch_si.. 2022. 1. 21.
15. 다층 퍼셉트론(MLP) 등장 - 1.XOR 문제 해결(실습) 이전시간에 XOR 문제를 해결하기 위해 다층 퍼셉트론이 제시되었고 이를 순방향 전파와 역방향 전파 도함수를 수학적으로 구한 것을 확인하였다. 이번 시간에는 수학적으로 표현한 내용을 코드로 구현해 보겠다. 1. 데이터 준비 import numpy as np np.random.seed(220132) inputs = np.array([[0., 0.], [1., 0.], [0., 1.], [1., 1.]], dtype = np.float32) targets = np.array([[0.], [1.], [1.], [0.]], dtype = np.float32) W1 = np.random.randn(2, 2) # [[-1.02877142 1.37536642] [-1.4391631 -0.1623922 ]] B1 = n.. 2022. 1. 19.
14. 다층 퍼셉트론(MLP) 등장 - 1.XOR 문제 해결(심화이론) 이번 시간에는 XOR 문제 해결을 위한 다층 퍼셉트론의 순방향 전파, 역전파를 이용한 도함수를 구할 것이다. 저번 시간에 순방향 전파를 아래와 같이 정의하였다. 입력데이터를 정의하고 순서대로 G1, S1, G2, S2 연산을 하는 순방향 전파를 수학적으로 표현해보자. 1. 순전파(forward) 1) 데이터 정의 입력 데이터 Input과 목표값 데이터 Target은 다음과 같다. 2) G1 연산 (1) G1 연산의 가중치는 아래와 같이 정의한다. (2) 입력값에 대해 G1 연산을 실시한다. (입력 X가 전치해서 들어감에 주의) 3) S1연산 (1) S1연산은 시그모이드(Sigmoid, σ) 함수이다. (2) G1의 출력값에 대해 S1 연산을 실시한다. 4) G2연산 (1) G2 연산의 가중치는 아래와 같.. 2022. 1. 19.