Dawn

NLP 논문읽기 스터디 발표 자료 Language Modeling순차 데이터 예측은 언어 모델링의 핵심 문제이다.Statistical language modeling의 목표는 문맥을 고려하여 다음 단어를 예측하는 것이다.n-gram과 같은 접근 방식이 언어 모델링에 사용되어 왔지만, 훈련 데이터에서 관찰되지 않은 단어 시퀀스를 처리하는 데에는 한계가 있었다. cache models(긴 문맥 정보를 활용해 최근 단어 빈도 반영)class-based models(유사 단어 간 매개변수 공유해 짧은 문맥의 매개 변수 추정)과 같은 기술들도 등장 했지만 유사한 효과를 보였다. 신경망 기반 언어 모델이 등장하고, 단어를 연속적인 벡터로 표현하고 일반화된 패턴을 학습 시킬 수 있게 되었다.그 중, 재귀 신경망(RN..

Recurrent Neural Network based Language Model 논문을 읽으며, 필요한 개념들에 대한 정리이다. RNN 기본 동작RNN은 입력과 출력을 시퀀스 단위로 처리하는 모델이다.Xt는 입력층이고 Yt는 출력층이다.이 모델은 은닉층에서 활성화 함수를 통해 결과값을 보내면서 동시에 다음 은닉층 계산의 입력으로 보내는 특징으로 반복하기 때문에 Recurrent라는 말이 붙게된 것이다.n-gram모든 단어를 고려하는 것이 아닌 일부 단어만 고려하는 접근 방식이다.몇 개의 일부 단어를 보느냐가 n이 가지는 의미이다.몇 개의 단어만 확인하다 보니 문장의 연결이 이상하고 끝맺음하지 못하는 문제가 발생한다. Sparsity problem훈련 데이터에 등장하지 않은 단어 시퀀스는 확률이 0으로 ..