문맥이 단어의 의미를 바꾸는 이유

bank라는 단어는 강둑을 뜻할 수도 있고 돈을 맡기는 곳을 뜻할 수도 있습니다. 그 의미는 전적으로 단어를 둘러싼 문맥에 따라 달라집니다.

word2vec과 GloVe는 각 단어에 하나의 고정 벡터를 부여합니다. 따라서 bank는 어떤 문장에 등장하든 하나의 고정된 의미만 갖습니다.

이 두 문장은 bank를 서로 반대되는 의미로 사용하지만, 고정 모델은 두 경우 모두 해당 단어에 똑같은 벡터를 부여합니다.

주변 단어를 읽기 때문에 어떤 bank를 뜻하는지 즉시 알 수 있습니다. 의미는 단어 자체가 아니라 문맥에 있습니다.

문맥 모델은 문장마다 bank에 다른 벡터를 부여합니다. 이제 임베딩은 매번 해당 문맥에 맞게 달라집니다. ✨

BERT는 문장 전체를 한 번에 읽고 문맥을 고려한 벡터를 생성하는 트랜스포머입니다. 모든 단어에 대한 어텐션을 중심으로 구축되었습니다.

BERT는 각 토큰의 왼쪽과 오른쪽에 있는 단어를 함께 살펴봅니다. 이러한 양방향 관점이 바로 양방향이라는 뜻입니다.

강과 돈에 관한 두 문장을 BERT에 입력하면 bank에서 서로 다른 두 벡터가 나옵니다. 임베딩이 문장을 반영하는 것입니다.

여러 의미를 가진 단어인 다의어는 고정 모델을 혼란스럽게 했습니다. 문맥 임베딩은 마침내 이러한 의미를 깔끔하게 분리합니다.

모델이 현재 단어가 어떤 의미를 지니는지 정확히 파악하면 검색, 번역, 질의응답이 모두 향상됩니다.

단어마다 하나의 벡터를 부여하던 방식에서 사용 사례마다 하나의 벡터를 부여하는 방식으로 바뀐 것은 전환점이었습니다. 이것이 현대 자연어 처리의 핵심입니다.

고정 벡터는 각 단어를 하나의 의미에 가둡니다. BERT의 문맥 임베딩은 문장마다 달라져 올바른 의미를 포착합니다. ✅