LSTM

RNN은 긴 문장을 처리할 때 앞부분의 정보를 잊어버리는 문제(Long-term dependency) 문제가 있었다. 이를 해결하기 위해 구조를 개선한 모델들이 등장했다.LSTM(Long Short-Term Memory)RNN 셀 내부에 Cell State(장기 기억)를 추가하여 중요한 정보는 오래 기억하고 불필요한 정보는 삭제하는 구조. 작동원리Forget Gate : 과거 정보 중 무엇을 버릴지 결정Input Gate :새로운 정보 중 무엇을 저장할지 결정Output Gate : 현재 시점에 어떤 정보를 내보낼지 결정 GRU(Gated Recurrent Unit)LSTM의 복잡한 구조를 단순화하여 연산 속도를 높이면서도 비슷한 성능을 내도록 만든 모델. Cell state와 Hidden State를..