임베딩이란

Word2Vec 이란?

Dense Embedding 50 - 1000 차원의 고밀도 임베딩 크기 어휘 크기 10,000 개 또는 문서 말뭉치 크기 100만개 와 동일한 차원의 희소 임베딩 보다 Dense Embedding NLP 작업에서는 Spare 임베딩 보다 더 잘 작동한다. 모델은 더 적은 무게 (fewer features) 를 요구하므로 과적합될 가능성이 적다. 거리 측정 metrics 는 저 차원에서 더 잘 작동한다. 유사한 단어는 저차원에서 더 명확하게 관련된다. Word2Vec Static Embedding 을 학습한다. 각 단어는 그것이 나타나는 맥락과 관계없이 동일한 벡터 임베딩을 갖는다. self-supervision 을 갖는다. (no supervised signal) 실행 중인 텍스트의 다음 단어를 sup..