Dawn

NLP 논문읽기 스터디 발표 자료 Language Modeling순차 데이터 예측은 언어 모델링의 핵심 문제이다.Statistical language modeling의 목표는 문맥을 고려하여 다음 단어를 예측하는 것이다.n-gram과 같은 접근 방식이 언어 모델링에 사용되어 왔지만, 훈련 데이터에서 관찰되지 않은 단어 시퀀스를 처리하는 데에는 한계가 있었다. cache models(긴 문맥 정보를 활용해 최근 단어 빈도 반영)class-based models(유사 단어 간 매개변수 공유해 짧은 문맥의 매개 변수 추정)과 같은 기술들도 등장 했지만 유사한 효과를 보였다. 신경망 기반 언어 모델이 등장하고, 단어를 연속적인 벡터로 표현하고 일반화된 패턴을 학습 시킬 수 있게 되었다.그 중, 재귀 신경망(RN..

Recurrent Neural Network based Language Model 논문을 읽으며, 필요한 개념들에 대한 정리이다. RNN 기본 동작RNN은 입력과 출력을 시퀀스 단위로 처리하는 모델이다.Xt는 입력층이고 Yt는 출력층이다.이 모델은 은닉층에서 활성화 함수를 통해 결과값을 보내면서 동시에 다음 은닉층 계산의 입력으로 보내는 특징으로 반복하기 때문에 Recurrent라는 말이 붙게된 것이다.n-gram모든 단어를 고려하는 것이 아닌 일부 단어만 고려하는 접근 방식이다.몇 개의 일부 단어를 보느냐가 n이 가지는 의미이다.몇 개의 단어만 확인하다 보니 문장의 연결이 이상하고 끝맺음하지 못하는 문제가 발생한다. Sparsity problem훈련 데이터에 등장하지 않은 단어 시퀀스는 확률이 0으로 ..

https://www.youtube.com/watch?v=ONLsEsXXQ_MThanatos - If i Can't be yours 도서관에서 유튜브로 노래를 들으며 공부하던 중, 이끌려 선택한 플레이리스트의 제목'박제가 되어버린 천재를 아시오?'이 말을 보고 검색하지 않을 수 없었다.이상의 '날개'수능에서도 출제가 되고 그 후 수능특강에서도 자주 등장한다는데 공부를 열심히 안해서 난 처음 알았다...노래를 틀고 전자책을 빌리고, 앉은 자리에서 바로 완독했다. 박제가 되어 버린 천재를 아시오?'날개'의 사작이다.주인공은 세상과 단절된 인물로 집 안에서 모든 생활을 한다.방 안에만 있다가, 아내가 주는 밥을 먹고 아내가 나가면 잠깐 아내의 방에서 장난을 치고 돌아가기를 반복한다.주인공은 스스로를 게으르다고..

jakarta.validation.UnexpectedTypeException: HV000030: No validator could be found for constraint 'jakarta.validation.constraints.Size' validating type 'java.lang.Integer'. Check configuration for 'age'@Size 제약 조건이 Integer 타입인 age 필드에 적용되었으나, @Size는 Integer 타입을 지원하지 않는다.//오류 발생지점@Size(min = 19, max = 28, message = "나이는 19세 이상 28세 이하로 입력해주세요.") private int age;진행 중인 프로젝트에서 회원의 나이 제한을 두는 지점에..

https://www.youtube.com/watch?v=bDRbF80NKDUBrook Benton - Rainy Night in Georgia세 번째 무라카미 하루키의 책이다.작가가 얘기하는 상실에 대한 이야기의 시작인 작품이다.얼마 안되는 쪽수에 금방 읽을 순 있지만, 40개의 작은 장으로 나눠 이야기를 구성하고 인물은 별로 나오지 않지만, 인물의 이름 조차 나오지 않는 조금 이상한? 난해한 책이다.인물 중 쥐(별명)는 무라카미 하루키의 다음 책들에서 반복해 등장해 쥐 3부작이라고 불리는 책들이 있다. (이 책은 1부)몇 없는 인물들에 대해'나'는 대학생이고, 방학이 되면 고향으로 돌아가 시간을 보내는 인물이다.사건에 휘말리기보다 근처에서 바라보는 인물로 감정을 표출하지 않고 담담한 모습을 보여준다...

노르웨이의 숲 완결판? 깔끔한 마무리https://www.youtube.com/watch?v=fOLwmxoA9gAThe Star-Crossed Lovers - Duke Ellington다시 읽게 된 하루키의 소설이다.노르웨이의 숲을 너무 재밌게 읽었는데, 완결판이라고 하니 읽지 않을 수 없었다.노르웨이의 숲과 비슷하게 인물 구성도 이루어진다.와타나베 -> 하지메, 나오코 -> 시마모토, 미도리 -> 유키코로 이어지며 인물들의 성격까지 비슷하다.하지만, 노르웨이의 숲보다 더 나이를 먹은 30대 중반의 이야기로 훨씬 성숙해진 인물들의 모습도 볼 수 있다.이 책에서는 육체적 사랑과 정신적 사랑은 구별되어 있다고 얘기한다.순수한 사랑을 방패 삼아 불륜 얘기를 한다는 평가도 있지만, 작가가 그런 얘기를 하고 싶어..

제목만 들어도 딱 끌리는 책, "수레바퀴 아래서"대체 무슨 얘기를 할까 싶은데 15세?쯤 되는 남학생이 공부하고 학교 들어가는 내용...?솔직히 초반엔 읽기 힘들었다.갑자기 친구(동성)이랑 키스를 하기도 하고... 이게 뭘까 싶었지만, 얘기하고자 하는 내용이 좋아 머리에 박혀버린 책이다.무슨 묘한 상황이 나올때면 이상야릇하다는 표현을 쓰는데 그것도 웃겼다. (내가 읽은 번역본만 그럴 수도) 흐름낚시하기를 좋아하고, 자연 속에서 여유롭게 수영하는 것을 즐기는 낭만 넘치는 소년 '한스 기벤라트'가 나온다.힘들게 준비했지만, 좋은 성적으로 입학하고 유지하던 한스는 '헤르만 하일너'라는 색깔이 강한 캐릭터를 만나고 친구와 가까워질수록 점점 신학교 생활과 멀어진다.결국 신경병을 갖게 되고, 피폐해진 채 고향으로 ..

가장 기본적인 약수의 개수를 구하는 문제부터 시작해보자. 어떤 자연수 n이 주어졌을 때, n의 약수의 개수를 구하라.약수는 나누어 떨어지게 하는 수를 의미한다.n = int(input())cnt = 0for i in range(1, n+1): if n % i == 0: cnt += 1 print(cnt)어떤 수를 입력 받고, 개수를 셀 변수를 선언한다.range는 end에서 -1한 값까지 반복한다.자기자신을 나누는 것도 가능하기에 n+1을 하여 구해준다. 시간복잡도는 n에 따라 반복횟수가 선형적으로 증가하기에 O(n) 이다. (1부터 n까지 반복) 이제 최적화를 해보자.약수는 항상 a * b = n 쌍으로 존재하기 때문에 짝수 개가 된다.ex) 6 = 1 * 6, 2 * 3..