初めての単語頻度表を作る
各単語の出現回数を集計する
「初めての単語頻度表を作る」はCoddyKit上の無料NLP Academyレッスンです。 これはレッスン4/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはNLP Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 NLP Academyコースには全4レッスンが含まれています。
出現頻度表とは
出現頻度表は、各単語とその出現回数を対応付けたものです。ほぼすべてのテキスト分析の基礎になります。📊
トークンから始める
まずテキストを単語のリストに変換し、Theとtheを同じトークンとして数えられるように小文字に変換します。
words = text.lower().split()辞書で数える
Pythonの辞書には、単語と出現回数のペアを保存できます。単語を順に処理し、現れるたびに1を加えます。
freq = {}
for w in words:
freq[w] = freq.get(w, 0) + 1getのテクニック
デフォルト値を0にしてgetを使うと、初めて出現した単語でもエラーを避けられます。ループもすっきりします。
freq[w] = freq.get(w, 0) + 1Counterに任せる
collectionsのCounterクラスを使えば、手作業でループを書かなくても、1行で表全体を作成できます。
from collections import Counter
freq = Counter(words)単語を検索する
表を作成したら、出現回数をすぐに読み取れます。単語をインデックスに指定するだけで、その頻度を取得できます。
print(freq["the"]) # how many times the appears最も頻出する単語を見つける
Counterのmost_commonメソッドは、単語とその出現回数を頻度の高い順に並べて返します。
print(freq.most_common(3))ストップワードが上位を占める
ほとんどの表の上位には、the、of、aのようなストップワードが並びます。頻出しますが、意味はあまり持ちません。
自分で作った辞書を並べ替える
通常のdictを順位付けするには、値を基準に要素を並べ替えます。sorted関数にkeyを指定すると、 원하는順序にできます。
ranked = sorted(freq.items(), key=lambda x: x[1], reverse=True)出現頻度が機能を支える
この表はbag-of-wordsの基礎になります。bag-of-wordsでは、単語の出現回数が機械学習モデルが読み取る数値になります。
ループで表を表示する
要素を順に処理して、各単語とその出現回数を表示すると、文書の内容を読みやすく要約できます。
for word, n in freq.items():
print(word, n)確認テスト
単語の出現頻度表を最も速く作る方法を選んでください。
まとめ：出現頻度表
dictまたはCounterで出現頻度表を作り、頻出単語を順位付けし、出現回数がbag-of-wordsの特徴量に活用されることを学びました。🎉
AI チューターと学ぶ Python — 無料
ブラウザでリアルコードを書いて実行し、24/7 の AI チューターから瞬時にサポートを受け、ウェブまたはアプリで続きから学習できます。
- コース
- 30
- レッスン
- 120
よくある質問
「初めての単語頻度表を作る」レッスンは無料ですか？
はい。「初めての単語頻度表を作る」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、NLP Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 NLP Academyコースには全4レッスンが含まれています。
「初めての単語頻度表を作る」で何を学びますか？
各単語の出現回数を集計する ブラウザで直接実行するハンズオンコードでNLP Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
NLP Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのNLP Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン4/4です。
「初めての単語頻度表を作る」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このNLP Academyレッスンでコードを書いて実行できますか？
はい。すべてのNLP Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- 文字列、文字、エンコーディング
- テキストファイルを Python に読み込む
- 単語と文字を数える
- 初めての単語頻度表を作る