TF-IDF med scikit-learn
Vektorisera en korpus med några få rader
TF-IDF med scikit-learn är en gratis lektion i NLP Academy på CoddyKit. Detta är lektion 3 av 4. Du kan läsa vilka 3 lektioner som helst i den här lärvägen kostnadsfritt i sin helhet – därefter låser CoddyKit PRO upp alla lektioner, plus praktisk övning med en inbyggd kodredigerare och en AI-lärare dygnet runt. Den ingår i lärvägen för NLP Academy, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i NLP Academy innehåller totalt 4 lektioner.
Ni behöver inte koda det för hand
Ni förstår matematiken, så låt nu scikit-learn göra det tunga arbetet. Dess TfidfVectorizer omvandlar råa dokument till en viktad matris med bara några rader.
Importera vectorizern
Allt finns i modulen feature_extraction.text. Importera TfidfVectorizer, så kan ni vektorisera vilken lista som helst med textsträngar.
from sklearn.feature_extraction.text import TfidfVectorizerEr korpus är en lista
En korpus är helt enkelt en Python-lista med strängar, en per dokument. Varje post innehåller hela texten som ni vill poängsätta och jämföra.
corpus = [
"the cat sat on the mat",
"the dog chased the cat",
]Anpassa och transformera
Anropa fit_transform för att lära in vokabulären och beräkna TF-IDF i ett enda steg. Metoden returnerar en gles matris med viktade egenskaper.
vec = TfidfVectorizer()
X = vec.fit_transform(corpus)
print(X.shape)Vad fit lärde sig
Steget fit bygger vokabulären och IDF-värdena från er korpus. Därefter känner vectorizern till varje term och hur sällsynt den är.
Granska vokabulären
Ni kan lista de inlärda egenskapsnamnen för att se kolumnerna. get_feature_names_out visar varje ord i vokabulärens ordning. 🔎
print(vec.get_feature_names_out())Resultatet är glest
De flesta dokument använder bara några få ord, så matrisen består till största delen av nollor. scikit-learn lagrar den som en minnessnål gles matris som standard.
Titta på de faktiska talen
Konvertera en rad till en tät array för att faktiskt kunna läsa vikterna. Utfyllnadsorden nära noll och ämnesorden framträder tydligt.
print(X.toarray()[0].round(3))Justera med parametrar
Praktiska alternativ låter er direkt ta bort sällsynta eller vanliga termer. Ange min_df och stop_words för att rensa vokabulären medan ni vektoriserar.
vec = TfidfVectorizer(stop_words="english", min_df=2)Återanvänd på ny text
Anpassa en gång på träningsdata och anropa sedan transform på nya dokument. Den nya texten mappas till exakt samma vokabulär och IDF-skala.
new_docs = ["a new cat appeared"]
X_new = vec.transform(new_docs)Redo för en modell
Den här viktade matrisen kan användas direkt av alla klassificerare i scikit-learn. TF-IDF-egenskaper är en stark och snabb baslinje för verkliga textuppgifter.
Snabb kontroll
Vilken metod lär sig vokabulären och beräknar TF-IDF-matrisen tillsammans?
Sammanfattning
Ni importerade TfidfVectorizer, anpassade den till en korpus, granskade det glesa resultatet och lärde er att återanvända den på ny text. Nu kan matematiken uttryckas på en enda rad. ✅
Lär dig Python med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 30
- Lektioner
- 120
Vanliga frågor
Är lektionen ”TF-IDF med scikit-learn” gratis?
Ja – du kan läsa vilka 3 lektioner som helst i lärvägen NLP Academy, inklusive ”TF-IDF med scikit-learn”, kostnadsfritt i sin helhet här på webben. Därefter låser CoddyKit PRO upp alla lektioner, plus interaktiv övning med en inbyggd kodredigerare och en AI-lärare dygnet runt. Kursen i NLP Academy innehåller totalt 4 lektioner.
Vad lär jag mig i ”TF-IDF med scikit-learn”?
Vektorisera en korpus med några få rader Ni övar på NLP Academy med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig NLP Academy?
Du behöver inga förkunskaper. Utbildningen i NLP Academy på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 3 av 4.
Hur lång tid tar lektionen ”TF-IDF med scikit-learn”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här NLP Academy-lektionen?
Ja. Varje NLP Academy-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Problemet med råa räkningar
- Termfrekvens och invers dokumentfrekvens
- TF-IDF med scikit-learn
- Hitta de viktigaste orden