Die Dokument-Term-Matrix lesen

Eine Document-Term-Matrix ist eine Häufigkeitstabelle. Jede Zeile ist ein Dokument und jede Spalte ist ein Wort aus Ihrem Vokabular. 🧮

Eine Zeile enthält den vollständigen Vektor der Häufigkeiten für ein einzelnes Dokument und fasst zusammen, wie oft jedes Wort darin vorkam.

Jede Spalte verfolgt ein Wort in jedem Dokument. Wenn man also eine Spalte nach unten liest, sieht man, wo dieses Wort auftaucht.

Der Wert in Zeile i, Spalte j gibt an, wie oft das Wort j in Dokument i vorkommt, also eine einfache Anzahl.

Die Matrix-Form verrät Ihnen, mit wie vielen Dokumenten und wie vielen einzigartigen Wörtern Sie arbeiten.

Da jedes einzelne Dokument nur wenige der Tausenden von Wörtern verwendet, besteht die Matrix größtenteils aus Nullen, was als dünnbesetzt bezeichnet wird.

Das Speichern von nur Werten, die ungleich Null sind, hält riesige Matrizen im Speicher. Aus diesem Grund gibt scikit-learn ein ausgedünntes Format zurück.

Ordnen Sie das Array den Feature-Namen zu, um es lesbar zu machen. Ein DataFrame macht aus rohen Zählwerten eine übersichtliche Tabelle.

Betrachte eine einzelne Zeile, um dieses Dokumentprofil zu sehen: welche Wörter es verwendet und wie oft. Diese Zeile ist sein Fingerabdruck.

Ähnliche Dokumente haben ähnliche Zeilen. Durch den Vergleich von Vektoren können Sie messen, wie nah sich zwei Texte inhaltlich sind.

Diese Matrix ist die Eingabe, die Sie in einen Klassifikator einspeisen. Die DTM sind die Merkmale (Features) und Ihre Labels sind die Zielvariablen (Targets).

Sie haben die Dokument-Term-Matrix gelesen: Zeilen als Dokumente, Spalten als Wörter, Zellen als Häufigkeiten, und gesehen, warum sie dünnbesetzt ist. 🎉