スパースなカウントから密ベクトルへ

Bag-of-words と TF-IDF は、テキストを長いカウントベクトルに変換しました。機能はしますが、これらのスパースベクトルには、これから見ていく大きな弱点があります。

Bag-of-words ベクトルには、語彙に含まれる単語ごとに1つのスロットがあるため、短い文はほとんどすべてゼロになります。このような表現をスパース表現と呼びます。

語彙が50,000語あると、すべての文書が長さ50,000のベクトルになります。実際のシグナルがわずかしかないのに、非常に多くの次元が必要です。

Bag-of-words では、cat と kitten は完全に別のスロットに入ります。私たちには類似して見えるのに、モデルは両者の類似性をまったく認識できません。

スパースベクトルは、すべての単語を他のすべての単語と無関係なものとして扱います。単語の存在は捉えられますが、意味や単語同士の関係を完全に見落とします。

Embedding は、各単語を、たとえば100個の値からなる短い実数のリストとして表します。このコンパクトな形式が密ベクトルです。

ほとんどがゼロの50,000個のスロットの代わりに、100個ほどの数値が詰まったベクトルを使います。各次元には、学習された意味の一側面がひそかに符号化されています。✨

ポイントは幾何学です。意味の似た単語は、空間内で互いに近い位置に配置されます。この空間での近さが、意味の近さを表すようになります。

2つの密ベクトルはコサイン類似度で比較します。これはベクトルの向きがどれだけ揃っているかを表すスコアです。値が高いほど意味が似ています。

これらの数値を人が手作業で書くわけではありません。アルゴリズムが大量のテキストを読み、単語が実際にどのように使われているかから各単語ベクトルを学習します。

密ベクトルは小さく、賢く、スパースなカウントでは捉えられなかった関係を表現できます。この変化1つが、現代のNLPの大部分を支えています。

スパースなカウントは巨大で、単語同士を無関係なものとして扱います。密なEmbeddingは、似た単語が近くに配置されるコンパクトなベクトルによって、この問題を解決します。✅