rnn

Recurrent Neural Network란?

Recurrent Neural Network (RNN) 이란? RNN 은 하나 이상의 Cycle 를 갖는 신경망이다. 하지만, 제한되지 않은 Connectivity (연결성) 을 가진 RNN 은 훈련과 분석이 어렵다. 그래서, Constrained RNNs (제한된) 을 생각해보자. RNN 의 개요 네트워크는 한 번에 하나의 입력을 처리한다. 각 단계는 t 시간 시점과 연관된 것을 알 수 있다. Recurrent connection 은 현재 시간 단계에서 이전 시간 단계의 학습한 정보를 고려할 수 있기 때문에 'memory' 라고 볼 수 있다. Feed Forward 네트워크와 다른점은 별개의 Weight 매트릭스 U가 있고 이전 시간 h_(t-1) 단계의 활성화 함수를 사용하는 것이다. RNN에서의 ..