GloVe와 FastText 임베딩

Word2Vec은 국소적인 맥락 범위에서 학습합니다. 영향력 있는 다른 임베딩 두 가지는 다른 방식으로 작동합니다. GloVe는 전역 통계를 사용하고, FastText는 문자 조각을 사용합니다.

GloVe(전역 벡터)는 전체 말뭉치에서 각 단어 쌍이 함께 등장하는 빈도를 나타내는 전역 동시 발생 행렬을 기반으로 학습합니다. 단순히 국소적인 맥락 범위만 사용하는 것은 아닙니다.

전체 동시 발생 행렬을 분해하면 GloVe는 말뭉치 전체의 관계와 단어 간 비율을 포착합니다. 그 결과 유추 작업에서 Word2Vec에 필적하거나 더 뛰어난 고품질 벡터를 만드는 경우가 많습니다.

임베딩을 학습하려면 매우 큰 말뭉치가 필요하므로, 일반적으로 사전 학습된 임베딩을 내려받아 사용합니다. gensim.downloader를 사용하면 한 줄로 GloVe 벡터와 같은 인기 모델을 가져올 수 있습니다.

불러온 GloVe 벡터는 Word2Vec과 동일한 연산, 즉 유사도 계산과 유추를 지원합니다.

Word2Vec과 GloVe는 학습 중에 본 단어에만 벡터를 할당합니다. 새로운 단어나 철자가 잘못된 단어(어휘에 없는 단어, OOV)에는 벡터가 없으므로, 정제되지 않은 텍스트에서는 실제로 큰 제약이 됩니다.

FastText는 각 단어를 문자 n-그램의 모음으로 표현하여 OOV 문제를 해결합니다. 예를 들어 "playing"이라는 단어에는 "pla", "lay", "ing" 같은 조각이 포함되므로 관련 단어와 구조를 공유합니다.

단어 벡터가 하위 조각으로 구성되기 때문에 FastText는 n-그램을 사용해 학습에서 보지 못한 단어의 벡터도 만들 수 있습니다. 또한 형태론적 특성을 포착하여 접두사, 접미사, 희귀한 단어를 처리하는 데 도움이 됩니다.

gensim은 Word2Vec과 유사한 API를 가진 FastText를 제공합니다. min_n과 max_n 매개변수는 문자 n-그램의 범위를 설정합니다.

학습에서 한 번도 보지 못한 단어라도 문자 n-그램으로 조합된 벡터를 반환합니다. 이것이 Word2Vec과 GloVe에 비해 FastText가 지닌 대표적인 장점입니다.

어휘가 고정되어 있고 텍스트가 정제되어 있다면 GloVe 또는 Word2Vec을 사용하세요. 형태론적으로 풍부한 언어, 잡음이 많은 텍스트, 또는 OOV 단어가 자주 등장하는 경우에는 FastText를 선택하세요. 어떤 경우든 사전 학습된 벡터는 훌륭한 출발점입니다.

임베딩 지식을 점검해 보세요.

복습: GloVe는 전역 동시 발생 통계에서 학습하고, FastText는 문자 n-그램을 사용하여 어휘 외 단어와 형태론적 특성을 처리합니다. gensim.downloader.load로 사전 학습된 벡터를 불러오세요. 두 방식 모두 유사도 계산과 유추를 지원합니다. 잡음이 많거나 형태론적으로 풍부한 텍스트에는 FastText를, 정제된 고정 어휘에는 GloVe/Word2Vec을 선택하세요.