NLP

N-Gram language models 이란? 엔 그램 언어 모델들이란?

Language Models 이란? 단어들로 구성된 Sequences 에 Probabilities 확률을 할당하는 것을 의미한다. Language Model 이란 단어의 조합이 Sequence/String 에 포함될 Probability 가능성을 설명하는 확률 분포 e.g. 영어에서 'Do I dare disturb the universe?' 가 likelihood 가 높은 반면에 'Universe dare the I disturb do' 는 낮은 수치를 가진다. Language Model 은 단어로 구성된 Sequence 들의 전체 Joint probability 분포를 획득한다. 확률 기본 개념 P(Weather, Cavity) 와 같은 Joint probability distribution 은 모든..

NLP 란? Natural Language Processing 자연어 처리란?

Natural Language Processing(NLP) 란? NLP 는 언어를 소리내어 말하는 구어, 그리고 글로쓰는 문어를 생성하고 이해하는 것을 다루며, 인공지능의 가장 중요한 분야이다. 자언여 처리 응용 프로그램의 예 Information retrieval 정보 검색 Information retrieval 은 일부 문서 집합안의 D 문서에서 Query q(사용자가 요청한 정보) 와 가장 잘 맞는 문서 d 를 찾는 작업이다. 보통 한개의 문서가 찾아지는 대신에 하나의 문서 목록이 검색되는 경우가 많다. Information extraction 정보 추출 구조화 되지 않은 텍스트를 구조화된 데이터로 가공한다. 객체들 간의 의미적인 관계를 추출한다. 예를 들어 X 는 Y 에 속하고 X 는 Y 의 자식..