728x90
반응형
본문 바로가기

LSTM2

RNN의 Gradient 문제 해결하기 위한 기법? LSTM(Long Short Term Memory)와 GRU(Gated Recurrent Unit)이란? 지난 시간에 RNN을 배워보았습니다. RNN의 경우 Gradient Vanishing 문제가 발생했죠. 이유는 출력할 때 hyperbolic Tangent(하이퍼볼릭 탄젠트, tanh)으로 Back Propagation을 할 때 문제가 생기죠. Back Propagation을 할 때 Tanh를 미분한 값을 곱하게 됩니다. 이 때 보시면 Tanh의 미분한 값은 1보다 작은 값이죠. 그래서 값이 점점 작아지게 됩니다. Gradient Vanishing 문제가 생기죠. 그래서 나온 기법이 LSTM(Long Short Term Memory)입니다. 상기 그래프는 LSTM 구조를 나타내고 있는데요. 보시면 input, forget, output 등의 sigmoid 함수가 들어가 있습니다. 파란색 그래프가 sigm.. 2020. 7. 4.
입력데이터가 10 , 20 , 30 일때 출력이 텍스트로 '감자'로 나오도록 학습시키고 싶습니다. 입력데이터가 10 , 20 , 30 일때 출력이 텍스트로 '감자'로 나오도록 학습시키고 싶습니다. 머신러닝을 공부하고 있는데 일반적인 선형, 회귀모델로는 불가능한거 같아서요. 입력이 50, 30,10 이면 '김치'가 나오고. 무슨 모델을 써야할까요? 그리고 입력은 51, 31, 9 이렇게 약간의 오차가 있어도 출력이 정상적으로 나오게하고싶습니다. 요구조건 1. 입력데이터가 10, 20, 30일 때 출력이 텍스트로 감자가 나오도록 학습 2. 입력데이터가 50, 30, 10일 때 출력이 텍스트로 김치가 나오도록 학습 입력 데이터를 먼저 살펴보면, 2가지가 있습니다. 1. 10, 20, 30으로 순서대로 입력. 2. 50, 30, 10으로 순서대로 입력. 이렇게 순서대로 입력하는 것을 시계열 데이터라고 합니다.. 2020. 5. 6.

728x90
반응형