본문 바로가기

딥러닝22

16. 다층 퍼셉트론(MPL)의 등장-2.비선형 회귀식(기초이론) 이전 시간에 XOR 문제를 다층 퍼셉트론을 이용하여 해결하였다. 이번에는 ' 12. 단층 퍼셉트론의 한계-2.선형 회귀식의 한계' 에서 해결하지 못한 회귀식을 비선형 회귀식으로 어떻게 해결할 수 있는지 이론적 바탕을 알아보겠다. 해결 아이디어는 앞서 활용했던 다층 퍼셉트론을 이용하는 것이다. XOR에서 사용했던 방법을 떠올려 보면 1. 기울기 손실 문제 간단한 데이터에서는 큰 문제가 없는데 데이터가 많아지고 복잡해 질 수록 활성화 함수로 사용되는 시그모이드가 문제를 일으킨다. 가중치를 업데이트 할 때 역전파를 실시하는데 시그모이드 함수와 도함수를 그래프로 살펴보자. 초록색은 시그모이드 함수, 파란색은 시그모이드의 도함수, a값은 0에서의 시그모이드 도함수 값이다. 시그모이드 도함수의 값이 최대 1/4 밖.. 2022. 1. 20.
15. 다층 퍼셉트론(MLP) 등장 - 1.XOR 문제 해결(실습) 이전시간에 XOR 문제를 해결하기 위해 다층 퍼셉트론이 제시되었고 이를 순방향 전파와 역방향 전파 도함수를 수학적으로 구한 것을 확인하였다. 이번 시간에는 수학적으로 표현한 내용을 코드로 구현해 보겠다. 1. 데이터 준비 import numpy as np np.random.seed(220132) inputs = np.array([[0., 0.], [1., 0.], [0., 1.], [1., 1.]], dtype = np.float32) targets = np.array([[0.], [1.], [1.], [0.]], dtype = np.float32) W1 = np.random.randn(2, 2) # [[-1.02877142 1.37536642] [-1.4391631 -0.1623922 ]] B1 = n.. 2022. 1. 19.
14. 다층 퍼셉트론(MLP) 등장 - 1.XOR 문제 해결(심화이론) 이번 시간에는 XOR 문제 해결을 위한 다층 퍼셉트론의 순방향 전파, 역전파를 이용한 도함수를 구할 것이다. 저번 시간에 순방향 전파를 아래와 같이 정의하였다. 입력데이터를 정의하고 순서대로 G1, S1, G2, S2 연산을 하는 순방향 전파를 수학적으로 표현해보자. 1. 순전파(forward) 1) 데이터 정의 입력 데이터 Input과 목표값 데이터 Target은 다음과 같다. 2) G1 연산 (1) G1 연산의 가중치는 아래와 같이 정의한다. (2) 입력값에 대해 G1 연산을 실시한다. (입력 X가 전치해서 들어감에 주의) 3) S1연산 (1) S1연산은 시그모이드(Sigmoid, σ) 함수이다. (2) G1의 출력값에 대해 S1 연산을 실시한다. 4) G2연산 (1) G2 연산의 가중치는 아래와 같.. 2022. 1. 19.
13. 다층 퍼셉트론(MPL) 등장 - 1.XOR 문제 해결(기초이론) 1986년 다층 퍼셉트론(Multi-Layer Perceptrons, MLP)의 등장으로 XOR문제를 해결할 수 있게 되었다. 선형 분류 판별기를 추가함으로써 XOR 문제를 해결할 수 있게 된 것이다. XOR 문제를 어떻게 해결할 수 있는지 알아보자. 1. 논리 게이트의 조합 우리는 아래와 같이 XOR 논리 게이트가 무엇인지 원한다. 단일 논리 게이트로 XOR을 풀 수 없다면 아래 그림처럼 논리 게이트를 조합하면 해결할 수 있다. 이전 시간에 입력했던 자료를 각각 OR게이트와 NAND 게이트에 입력하면 아래와 같은 출력을 각각 얻을 수 있는데 이를 AND 게이트의 입력으로 만드는 것이다. 2. 이전 시간에 구했던 논리 게이트 perceptron의 가중치로 시각화 해 보자. OR perceptron의 가중.. 2022. 1. 18.

티스토리툴바