목록N-gram (1)

Dawn

RNN LM 논문을 읽으며 (RNN, n-gram, Elman Network)

Recurrent Neural Network based Language Model 논문을 읽으며, 필요한 개념들에 대한 정리이다. RNN 기본 동작RNN은 입력과 출력을 시퀀스 단위로 처리하는 모델이다.Xt는 입력층이고 Yt는 출력층이다.이 모델은 은닉층에서 활성화 함수를 통해 결과값을 보내면서 동시에 다음 은닉층 계산의 입력으로 보내는 특징으로 반복하기 때문에 Recurrent라는 말이 붙게된 것이다.n-gram모든 단어를 고려하는 것이 아닌 일부 단어만 고려하는 접근 방식이다.몇 개의 일부 단어를 보느냐가 n이 가지는 의미이다.몇 개의 단어만 확인하다 보니 문장의 연결이 이상하고 끝맺음하지 못하는 문제가 발생한다. Sparsity problem훈련 데이터에 등장하지 않은 단어 시퀀스는 확률이 0으로 ..
AI 2025. 3. 31. 17:20
이전 Prev 1 Next 다음