RNN 순전파2 44.[RNN기초] RNN(many to many) 순전파 구현(이론, 실습) 이전 시간까지 주어진 문장이 문법에 맞으면 1, 아니면 0으로 예측하는 RNN 기반 인공신경망을 제작하고 훈련하였다. as soon as로 배치되었을 때 1이고 as as soon, soon as as 이라면 0으로 두었다. 이번엔 가장 간단한 생성형 RNN을 접근해 보자. 바로 many to many 문제이다. 아주 쉽게 접근하는 방법으로 'hello' 문제를 생각해 볼 수 있다. 한글자를 입력하면 그 다음 글자를 예측하는 문제이다. 즉 아래와 같다. 1. h 입력 → e 출력 2. e 입력 → l 출력 3. l 입력 → l 출력 4. l 입력 → o 출력 지금까지 배운 DNN으로 해결할 수 있지 않을까? 생각이 들 수 있는데 나중에 보여주겠지만 잘 되지 않는다. 예를 들어 3번과 4번에서 같은 l이지.. 2023. 9. 23. 41.[RNN기초] RNN(many to one) 역전파 구현(이론) 저번시간에 RNN의 순전파의 이론적 배경을 알아보고 코드로 구현하였다. 그렇다면 어떻게 역전파를 진행하여 가중치를 훈련할 수 있을까? 먼저 필요한 변수값을 다시 확인하자 time steps(t.s) → 3 (문장을 구성하는 토큰의 개수) sequence length(s.l) → 2 (데이터 전체의 토큰 개수) hidden node(h.n) → 3 (본인이 설정하는 값) output feature → 1 (출력 특성) 그리고 가중치의 크기를 확인하자. Wxh = ( sequence length(2), hidden node(3) ) → ( 2, 3 ) Whh = ( hidden node(3), hidden node(3) ) → ( 3, 3 ) Bh = (1, 1) Wy = ( hidden node(3), o.. 2023. 9. 19. 이전 1 다음
