Recurrent Neural Network(RNN)

RNN

현재 input 값이 바로 직전 input에 대한 output 값에 영향을 받는 구조.

$$ h_{t}=wx_{t}+b+h(x_{t-1}) $$

 

rnn은 전 단계의 입력을 다음 단계가 기억할 수 있다는 특징이 있지만 정규화 과정을 통해 input값이 줄어 전달되기 때문에  input의 수가 많아질수록 성능이 떨어진다는 한계가 있음

 

LSTM(Long Short Term Memory)

RNN의 한계를 극복하기 위해 이전 입력에 대한 정보 뿐만 아니라 이전 입력의 이전 입력에 대한 정보까지 저장할 수 있음

$$ h_{t}=wx_{t}+b+h(x_{t-1})+h(x_{t-2}) $$

forget gate를 두어 특정 입력에 대해서는 현재 입력과 이전 입력에 대한 정보 까지만 기억하게 하는 부분도 있음.

즉, t-2 시점에 대한 정보의 영향력 감소