肯定語と否定語のリストを作る

レキシコンとは、感情を示すタグが付いた単語のリストです。ルールベースの検出器が単語を検索する辞書に当たります。📖

まず、positiveの単語とnegativeの単語という2つのリストを用意します。それぞれのリストには、単独でも一方の感情を確実に示す語を入れます。

happyなときに使うgood、great、love、excellent、amazingなどの単語をpositive集合に入れます。照合しやすいよう、小文字で保持しましょう。

negative集合には、bad、awful、hate、terrible、brokenなどの不満を示す単語を集めます。これらは検出器が探す危険信号です。

Pythonのsetではメンバーシップを即座に確認できるため、リストが大きくなっても単語がpositiveかどうかを高速に判定できます。

GreatとGREATは同じ項目として照合されるべきです。そのため、単語を小文字で保存し、入力テキストも小文字に変換します。これにより照合の一貫性が保たれます。

単語の検索は1行でできます。in演算子を使うと、ある語がpositiveリストに含まれているかをすぐに確認できます。

何もない状態から始める必要はありません。NLTKなどのツールには、再利用できる、評価値付きの厳選された意見レキシコンが何千語も収録されています。

1つの単語を両方のリストに入れてはいけないため、集合は互いに素に保ちます。重複があるとスコアが曖昧になり、最終的なラベルも混乱します。

感情はドメインによって異なります。ホテルではquietはポジティブですが、パーティーではそうとは限りません。具体的な用途に合わせてレキシコンを調整しましょう。

リストは常に更新されるデータとして扱いましょう。検出器が明らかな手がかりを見逃したら、その単語を追加するだけで、レキシコンは時間とともに着実に改善されます。

positiveとnegativeの単語集合からなるレキシコンを作りました。小文字で統一し、互いに素にすることで高速に検索できます。NLTKのリストを借り、ドメインごとに調整することもできます。次はレビュー全体をスコアリングします。✅