word란?

Words 에 대해서?

'Word' 로 취급하고 싶은 것은 무엇인가? 문서 또는 텍스트 말뭉치 내의 최소 단위 (Token) 은 무엇인지 결정해야한다. 특정 응용 프로그램에 대해 보관할 Token 이나 제거할 Token 을 결정해야한다. 각 단어와 각 문장 부호 'punctuation' 은 일반적으로 다른 Token 이다. 문장 부호는 문장의 경계, 의미 측면에서 질문 등을 식별하는 데 도움이 될 수 있다. 때때로 단어내의 부분 텍스트도 Token 이라고 할 수 있다. e.g. 'uh' 와 'main-' 은 'I do uh main- mainly business data processing' 과 같은 말하는 문장 (구어) 에서 Token 역할을 한다. Inflection 이란? 단어가 시제, 대소문자, 음석, 사람, 숫자, 성..