n-gram이란?

N-Gram language models 이란? 엔 그램 언어 모델들이란?

Language Models 이란? 단어들로 구성된 Sequences 에 Probabilities 확률을 할당하는 것을 의미한다. Language Model 이란 단어의 조합이 Sequence/String 에 포함될 Probability 가능성을 설명하는 확률 분포 e.g. 영어에서 'Do I dare disturb the universe?' 가 likelihood 가 높은 반면에 'Universe dare the I disturb do' 는 낮은 수치를 가진다. Language Model 은 단어로 구성된 Sequence 들의 전체 Joint probability 분포를 획득한다. 확률 기본 개념 P(Weather, Cavity) 와 같은 Joint probability distribution 은 모든..