Bag of Words: CountVectorizer en TfidfVectorizer

Modellen voor machinaal leren hebben numerieke invoer nodig, maar tekst is van nature ongestructureerd. Om tekstdocumenten om te zetten naar een indeling die een model kan begrijpen, is een systematische aanpak nodig. Het Bag-of-Words-model (BoW) is de eenvoudigste en meest gebruikte methode: het behandelt een document als een ongeordende verzameling woorden, waarbij grammatica en woordvolgorde worden genegeerd, en telt hoe vaak elk woord voorkomt. Het resultaat is een numerieke vector: één getal per woord in de woordenschat. Ondanks zijn eenvoud is BoW verrassend effectief voor tekstclassificatie, spamfiltering en sentimentanalyse.

CountVectorizer van Scikit-learn automatiseert het Bag-of-Words-proces. Het: (1) tokeniseert elk document door te splitsen op witruimte en leestekens, (2) bouwt een woordenschat op uit alle unieke tokens die tijdens fit() worden aangetroffen, en (3) zet elk document om in een ijle vector met woordfrequenties. Het resultaat is een document-termmatrix waarin de rijen documenten zijn en de kolommen woorden uit de woordenschat. Er wordt een ijle indeling gebruikt omdat de meeste woorden slechts in een klein deel van de documenten voorkomen: de meeste waarden zijn nul.

CountVectorizer retourneert een ijle matrix, omdat de meeste woordfrequenties nul zijn: een document over Python vermeldt niet 'olifant' of 'melkwegstelsel'. Alle nullen opslaan zou enorm veel geheugen verspillen. Een ijle matrix slaat alleen de waarden die niet nul zijn en hun posities op. Voor een woordenschat van 100.000 woorden en 10.000 documenten zou de volledige matrix 8 GB groot zijn; de ijle versie misschien slechts 50 MB. Houd matrices met tekstkenmerken altijd in een ijle indeling totdat u zeker weet dat uw verdere bewerkingen dit ondersteunen. Een omzetting naar een dichte matrix kan bij grote tekstverzamelingen al het geheugen verbruiken.

CountVectorizer biedt ingebouwde opties voor tekstvoorbewerking. lowercase=True (standaard) zorgt ervoor dat 'Python' en 'python' hetzelfde token zijn. stop_words='english' verwijdert veelvoorkomende woorden zoals 'the', 'is' en 'a' die weinig betekenis bevatten. ngram_range=(1,2) neemt zowel afzonderlijke woorden (unigrammen) als opeenvolgende woordparen (bigrammen) op, waardoor uitdrukkingen zoals 'not good' worden vastgelegd. Een model met alleen unigrammen zou die afzonderlijk als 'not' en 'good' verkeerd kunnen interpreteren. Bigrammen verbeteren de classificatiekwaliteit aanzienlijk bij sentimentanalyse, waarbij ontkenning belangrijk is.

Onbewerkte woordfrequenties hebben een fundamenteel probleem: zeer veelvoorkomende woorden domineren de vector, ook al bevatten ze weinig onderscheidende informatie. Het woord 'the' kan 50 keer in een nieuwsartikel voorkomen, maar vertelt u niets over het onderwerp van het artikel. Een zeldzame technische term zoals 'eigenvalue' die slechts twee keer voorkomt, wijst daarentegen sterk op een document over wiskunde. TF-IDF (Term Frequency-Inverse Document Frequency) lost dit op door woorden die in veel documenten voorkomen minder zwaar te wegen en woorden die in weinig documenten maar vaak in het huidige document voorkomen zwaarder te wegen.

TF-IDF past het belang van woorden aan de hand van twee factoren aan: Term Frequency (TF) — hoe vaak het woord in dit document voorkomt (lokaal belangrijk), en Inverse Document Frequency (IDF) — de logaritme van de verhouding tussen het totale aantal documenten en het aantal documenten dat het woord bevat (globaal zeldzaam = onderscheidender). TF-IDF(w, d) = TF(w,d) * IDF(w), waarbij IDF(w) = log((N+1)/(df+1)) + 1 (scikit-learn gebruikt een afgevlakte IDF). Een woord dat in slechts 1 van 1000 documenten voorkomt, heeft een zeer hoge IDF; een woord dat in elk document voorkomt, heeft een IDF dicht bij 0.

TfidfVectorizer combineert tokenisatie, vectorisatie van frequenties en TF-IDF-weging in één transformer. Standaard past het L2-normalisatie toe, zodat elke documentvector eenheidslengte heeft. Daardoor kunnen documenten met verschillende lengtes met elkaar worden vergeleken. Het resultaat is nog steeds een ijle matrix. TfidfVectorizer presteert bij tekstclassificatietaken bijna altijd beter dan CountVectorizer, vooral wanneer de tekstverzameling documenten van verschillende lengtes bevat of wanneer veelvoorkomende stopwoorden niet expliciet zijn verwijderd.

Bij grote tekstverzamelingen met miljoenen documenten kan de woordenschat groeien tot honderdduizenden termen. max_features=N behoudt alleen de N meest frequente woorden, waardoor het geheugengebruik afneemt en de training sneller verloopt. min_df negeert woorden die in minder documenten voorkomen dan deze waarde (en verwijdert zeer zeldzame termen die typefouten of unieke identificatiegegevens kunnen zijn). max_df negeert woorden die in meer dan dit deel van de documenten voorkomen (en verwijdert feitelijke stopwoorden die overal voorkomen). Gebruikelijke instellingen voor productie: max_features=50,000, min_df=5, max_df=0.95.

Gebruik CountVectorizer wanneer: (1) uw model de weging van frequenties al intern afhandelt (Multinomial Naive Bayes verwacht bijvoorbeeld onbewerkte frequenties), of (2) de documentlengte uniform is en verschillen in frequentie betekenisvol zijn. Gebruik TfidfVectorizer wanneer: (1) documenten verschillende lengtes hebben, (2) veelvoorkomende woorden niet met stopwoorden worden gefilterd, of (3) u algoritmen gebruikt die uitgaan van genormaliseerde vectoren met kenmerken (SVM, logistische regressie). Specifiek voor Naive Bayes werkt CountVectorizer met MultinomialNB vaak het best. Voor SVM of logistische regressie is TfidfVectorizer de standaardkeuze.

Na de vectorisatie kunt u de document-termmatrix bekijken om te begrijpen wat er is geleerd. Door deze om te zetten naar een Pandas DataFrame met namen van kenmerken als kolomkoppen, ziet u eenvoudig hoe elk woord wordt weergegeven. Deze foutopsporingsstap is essentieel: u ziet of de tokenisatie correct werkte, of stopwoorden zijn verwijderd, of de woordenschat de verwachte termen bevat en of de TF-IDF-gewichten logisch lijken. Bekijk altijd een voorbeeld van de matrix voordat u uw model traint, zodat u fouten in de voorbewerking vroeg ontdekt.

Tokenisatie op woordniveau werkt niet goed wanneer tekst typefouten, afkortingen of morfologische varianten bevat. N-grammen op tekenniveau behandelen overlappende reeksen tekens als kenmerken in plaats van volledige woorden. Als u analyzer='char_wb' instelt in TfidfVectorizer met ngram_range=(3,5), worden substrings van 3 tot 5 tekens met woordgrenzen gegenereerd. Hierdoor is het model beter bestand tegen spelfouten en meertalige tekst. Dit is vooral nuttig voor taaldetectie, auteurschapsanalyse en tekst van sociale media, waarin de spelling niet consistent is. N-grammen op tekenniveau vormen ook de basis voor subwoordtokenisatie die wordt gebruikt in transformermodellen zoals BERT.

In deze les heb je geleerd: Bag of Words zet tekst om in vectoren met woordfrequenties met CountVectorizer, TF-IDF verlaagt het gewicht van veelvoorkomende woorden en verhoogt het gewicht van onderscheidende zeldzame woorden met TfidfVectorizer, en wat de belangrijkste parameters voor voorbewerking zijn, waaronder stop_words, ngram_range, max_features en min_df. Hierna trainen we een Multinomial Naive Bayes-classificeerder op tekstgegevens.