頑健性のための文字 N-Gram

単語レベルの特徴量は、タイプミスや珍しい綴りに弱い傾向があります。モデルはrunnningをまったく新しい単語として認識するため、1回の入力ミスでシグナルをすべて失う可能性があります。

テキストを単語全体ではなく、短い文字列に分割します。このように重なり合う部分をcharacter n-gramsと呼びます。

単語catのcharacter 3-gramsは、単純な3文字の組み合わせです。テキスト上を1文字ずつ移動し、重なり合うチャンクを作ります。

単語runとrunnは、character gramsの大部分を共有しています。そのため、タイプミスがあっても、単語全体が消えるのではなく、変化する特徴量は一部だけです。

play、playing、playerは、いずれもgram plaを共有しています。Character gramsなら、stemmingを行わなくても、関連する形を自然に結び付けられます。

ソーシャルメディア、ユーザー名、製品コードには、変則的な綴りが多く含まれます。Character gramsは、単語の特徴量が機能しにくい場面でも堅牢に働きます。

scikit-learnでは、これを1つのパラメーターで設定できます。analyzerをcharに設定し、ngram_rangeを選ぶと、単語ではなくcharacter gramsを抽出できます。

char_wb analyzerは、各単語にパディングを加え、単語境界の内側だけでgramsを作ります。2つの単語にまたがるgramsを避けながら、堅牢性を保てます。

単語をつなげて書く言語や、語尾の変化が豊かな言語では、単語トークナイザーは扱いにくくなります。Character gramsならその問題を回避でき、言語を問わず使いやすい特徴量になります。

Character gramsは、単語よりもはるかに多くの特徴量を作ります。この追加の次元数にはより多くのメモリが必要になるため、範囲は狭く設定しましょう。

Character gramsは、単語の特徴量の代わりではなく、組み合わせて使うと効果を発揮します。両者を組み合わせることで、意味と堅牢性の両方を捉えられます。💪

Character n-gramsはテキストを文字のチャンクに分割し、タイプミスに強く、単語の派生形を結び付けます。scikit-learnでは、単語の特徴量とともにanalyzer charを使用します。✅