Bag of Words: CountVectorizer och TfidfVectorizer

Maskininlärningsmodeller kräver numeriska indata, men text är i grunden ostrukturerad. För att omvandla textdokument till ett format som en modell kan förstå krävs ett systematiskt tillvägagångssätt. Bag of Words-modellen (BoW) är den enklaste och mest använda metoden: den behandlar ett dokument som en oordnad samling ord, ignorerar grammatik och ordföljd och räknar hur många gånger varje ord förekommer. Resultatet är en numerisk vektor — ett tal per ord i vokabulären. Trots sin enkelhet är BoW förvånansvärt effektiv för textklassificering, skräppostfiltrering och sentimentanalys.

Scikit-learns CountVectorizer automatiserar processen för Bag of Words. Den: (1) tokeniserar varje dokument genom att dela upp det vid blanksteg och skiljetecken, (2) bygger en vokabulär från alla unika token som hittas under fit(), och (3) omvandlar varje dokument till en gles vektor med ordräkningar. Resultatet är en dokument-term-matris där raderna är dokument och kolumnerna är ord i vokabulären. Gles representation används eftersom de flesta ord bara förekommer i en liten andel av dokumenten — de flesta poster är noll.

CountVectorizer returnerar en gles matris eftersom de flesta ordräkningar är noll — ett dokument om Python nämner inte ”elefant” eller ”galax”. Att lagra alla nollor skulle slösa enorma mängder minne. En gles matris lagrar endast värden som inte är noll och deras positioner. För en vokabulär med 100 000 ord och 10 000 dokument skulle den fullständiga matrisen vara 8 GB; den glesa versionen kanske bara 50 MB. Behåll alltid textfunktionsmatriser i glesa format tills du är säker på att efterföljande operationer stöder det — en konvertering till tät form kan tömma minnet för stora textkorpusar.

CountVectorizer erbjuder inbyggda alternativ för textförbehandling. lowercase=True (standard) säkerställer att ”Python” och ”python” är samma token. stop_words='english' tar bort vanliga ord som ”the”, ”is” och ”a”, vilka tillför liten betydelse. ngram_range=(1,2) inkluderar både enskilda ord (unigram) och på varandra följande ordpar (bigram), vilket fångar fraser som ”not good” som en unigrammodell annars skulle misstolka som ”not” och ”good” var för sig. Bigram förbättrar klassificeringskvaliteten avsevärt vid sentimentanalys där negationer spelar roll.

Råa ordräkningar har en grundläggande brist: mycket vanliga ord dominerar vektorn trots att de innehåller lite särskiljande information. Ordet ”the” kan förekomma 50 gånger i en nyhetsartikel utan att säga något om artikelns ämne. Däremot antyder en sällsynt fackterm som ”eigenvalue”, som bara förekommer två gånger, starkt att dokumentet handlar om matematik. TF-IDF (Term Frequency-Inverse Document Frequency) hanterar detta genom att minska vikten för ord som förekommer i många dokument och öka vikten för ord som förekommer i få dokument men ofta i det aktuella dokumentet.

TF-IDF justerar ordens betydelse utifrån två faktorer: Term Frequency (TF) — hur ofta ordet förekommer i det här dokumentet (lokalt viktigt), och Inverse Document Frequency (IDF) — logaritmen av kvoten mellan det totala antalet dokument och antalet dokument som innehåller ordet (globalt sällsynt = mer särskiljande). TF-IDF(w, d) = TF(w,d) * IDF(w) där IDF(w) = log((N+1)/(df+1)) + 1 (scikit-learn använder utjämnad IDF). Ett ord som bara förekommer i 1 av 1000 dokument har mycket högt IDF; ett ord som förekommer i alla dokument har ett IDF nära 0.

TfidfVectorizer kombinerar tokenisering, vektorisering av ordräkningar och TF-IDF-viktning i en enda transformerare. Den tillämpar L2-normalisering som standard, så att varje dokumentvektor har enhetslängd — vilket gör dokument med olika längd jämförbara. Resultatet är fortfarande en gles matris. TfidfVectorizer ger nästan alltid bättre resultat än CountVectorizer vid textklassificeringsuppgifter, särskilt när korpusen innehåller dokument med varierande längd eller när vanliga stoppord inte har tagits bort uttryckligen.

För stora korpusar med miljontals dokument kan vokabulären växa till hundratusentals termer. max_features=N behåller endast de N vanligaste orden, vilket minskar minnesanvändningen och snabbar upp träningen. min_df ignorerar ord som förekommer i färre än så här många dokument (tar bort mycket sällsynta termer som kan vara stavfel eller unika identifierare). max_df ignorerar ord som förekommer i mer än så här stor andel av dokumenten (tar bort inofficiella stoppord som förekommer överallt). Typiska produktionsinställningar: max_features=50,000, min_df=5, max_df=0.95.

Använd CountVectorizer när: (1) modellen redan hanterar frekvensviktning internt (t.ex. förväntar sig Multinomial Naive Bayes råa räkningar), eller (2) dokumentlängden är enhetlig och frekvensskillnaderna är meningsfulla. Använd TfidfVectorizer när: (1) dokumenten varierar i längd, (2) vanliga ord inte filtreras bort som stoppord, eller (3) du använder algoritmer som förutsätter normaliserade funktionsvektorer (SVM, logistisk regression). För Naive Bayes specifikt fungerar CountVectorizer med MultinomialNB ofta bäst. För SVM eller logistisk regression är TfidfVectorizer standardvalet.

Efter vektoriseringen kan du granska dokument-term-matrisen för att förstå vad som har lärts in. Om du omvandlar den till en Pandas DataFrame med funktionsnamn som kolumnrubriker blir det enkelt att se hur varje ord representeras. Detta felsökningssteg är viktigt: det visar om tokeniseringen fungerade korrekt, om stoppord togs bort, om vokabulären fångade de förväntade termerna och om TF-IDF-vikterna verkar rimliga. Granska alltid ett urval av matrisen innan du tränar modellen, så att du upptäcker fel i förbehandlingen tidigt.

Tokenisering på ordnivå fungerar sämre när texten innehåller stavfel, förkortningar eller morfologiska varianter. Teckennivåbaserade n-gram behandlar överlappande sekvenser av tecken som egenskaper i stället för hela ord. Om du anger analyzer='char_wb' i TfidfVectorizer tillsammans med ngram_range=(3,5) genereras delsträngar på 3 till 5 tecken med ordgränser. Det gör modellen robust mot felstavningar och flerspråkig text. Det är särskilt användbart för språkidentifiering, författarskapsanalys och text från sociala medier där stavningen är inkonsekvent. Teckennivåbaserade n-gram är också grunden för subword-tokenisering som används i transformermodeller som BERT.

I den här lektionen har du lärt dig att Bag of Words omvandlar text till vektorer med ordräkningar med hjälp av CountVectorizer, att TF-IDF minskar vikten för vanliga ord och ökar vikten för särskiljande sällsynta ord med hjälp av TfidfVectorizer, samt viktiga parametrar för förbehandling, bland annat stop_words, ngram_range, max_features och min_df. Nästa steg är att träna en Multinomial Naive Bayes-klassificerare på textdata.