Bygg en återanvändbar funktion för ren text
Samla stegen i en hjälpfunktion
Bygg en återanvändbar funktion för ren text är en gratis lektion i NLP Academy på CoddyKit. Detta är lektion 4 av 4. Du kan läsa vilka 3 lektioner som helst i den här lärvägen kostnadsfritt i sin helhet – därefter låser CoddyKit PRO upp alla lektioner, plus praktisk övning med en inbyggd kodredigerare och en AI-lärare dygnet runt. Den ingår i lärvägen för NLP Academy, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i NLP Academy innehåller totalt 4 lektioner.
Knyt ihop allt
Du har lärt dig att konvertera till gemener, ta bort stopwords och rensa bort skiljetecken. Nu samlar vi allt i en återanvändbar funktion som du kan anropa var som helst.
Varför en hjälpfunktion är bättre än att kopiera och klistra in
En enda clean_text-funktion innebär att varje dokument behandlas exakt likadant. Rätta ett fel en gång, så får hela projektet nytta av det.
Börja med en signatur
Definiera formen först. Funktionen tar emot råtext och returnerar en ren lista med token, vilket är standardindata för senare steg.
def clean_text(text):
passSteg ett: gemener
Börja med att omvandla allt till gemener. Då matchar The och the varandra, och ditt ordförråd fördubblas inte.
text = text.lower()Steg två: ta bort symboler
Ta sedan bort skiljetecken och överblivna symboler med en snabb regex, så att avslutande tecken aldrig fastnar på orden.
import re
text = re.sub(r"[^a-z0-9 ]", " ", text)Steg tre: tokenisera
Dela upp den rensade strängen i ord. En vanlig split fungerar bra här eftersom du redan har tagit bort de besvärliga skiljetecknen.
tokens = text.split()Steg fyra: ta bort stopwords
Filtrera bort brusorden med din mängd stopwords. Skapa mängden en gång utanför funktionen, så att den inte återskapas vid varje anrop.
tokens = [t for t in tokens if t not in stops]Sätt ihop det
Stapla stegen i rätt ordning och returnera resultatet. Den här kompakta pipeline omvandlar vilken rå sträng som helst till rena token.
def clean_text(text):
text = text.lower()
text = re.sub(r"[^a-z0-9 ]", " ", text)
return [t for t in text.split() if t not in stops]Prova
Anropa funktionen på en rörig mening och se hur allt överflöd försvinner. Resultatet är en prydlig lista som är redo för nästa steg i NLP.
print(clean_text("The Cats, dogs! and 2 birds."))Gör den flexibel
Lägg till en flagga så att anropande kod kan behålla stopwords när det behövs. Valfria parametrar gör att en hjälpfunktion kan användas för många uppgifter.
def clean_text(text, drop_stops=True):
...Tillämpa den i stor skala
Eftersom det är en funktion kan du mappa den över ett helt dataset på en enda rad och rensa varje dokument på ett konsekvent sätt.
cleaned = [clean_text(doc) for doc in documents]Snabbkontroll
Ordningen spelar roll när du kedjar ihop rensningssteg.
Sammanfattning
Du har byggt en återanvändbar hjälpfunktion, clean_text: konvertera till gemener, ta bort symboler, tokenisera och ta sedan bort stopwords. En funktion ger konsekventa resultat överallt.
Lär dig Python med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 30
- Lektioner
- 120
Vanliga frågor
Är lektionen ”Bygg en återanvändbar funktion för ren text” gratis?
Ja – du kan läsa vilka 3 lektioner som helst i lärvägen NLP Academy, inklusive ”Bygg en återanvändbar funktion för ren text”, kostnadsfritt i sin helhet här på webben. Därefter låser CoddyKit PRO upp alla lektioner, plus interaktiv övning med en inbyggd kodredigerare och en AI-lärare dygnet runt. Kursen i NLP Academy innehåller totalt 4 lektioner.
Vad lär jag mig i ”Bygg en återanvändbar funktion för ren text”?
Samla stegen i en hjälpfunktion Ni övar på NLP Academy med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig NLP Academy?
Du behöver inga förkunskaper. Utbildningen i NLP Academy på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 4 av 4.
Hur lång tid tar lektionen ”Bygg en återanvändbar funktion för ren text”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här NLP Academy-lektionen?
Ja. Varje NLP Academy-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Vad är stoppord?
- Filtrera stoppord med NLTK
- Ta bort skiljetecken och symboler
- Bygg en återanvändbar funktion för ren text