Bygg en gjenbrukbar funksjon for rensing av tekst
Samle trinnene dine i én hjelpefunksjon
Bygg en gjenbrukbar funksjon for rensing av tekst er en gratis leksjon i NLP Academy på CoddyKit. Dette er leksjon 4 av 4. Du kan lese valgfritt 3 leksjoner fra denne læringsstien gratis i sin helhet – deretter låser CoddyKit PRO opp alle leksjoner, samt praktisk øving med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i NLP Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i NLP Academy inneholder totalt 4 leksjoner.
Samle alt
Du har lært å konvertere til små bokstaver, fjerne stopwords og fjerne tegnsetting. Nå samler vi dette i én gjenbrukbar funksjon du kan kalle hvor som helst.
Hvorfor en hjelpefunksjon slår kopier og lim inn
Én clean_text-funksjon sørger for at alle dokumenter behandles på nøyaktig samme måte. Rett en feil én gang, så får hele prosjektet nytte av det.
Begynn med en signatur
Definer formen først. Funksjonen tar inn råtekst og returnerer en ren liste med tokens, som er standardinndata for senere trinn.
def clean_text(text):
passTrinn én: Små bokstaver
Begynn med å konvertere alt til små bokstaver. Da blir The og the like, og vokabularet ditt blir ikke dobbelt så stort.
text = text.lower()Trinn to: Fjern symboler
Deretter fjerner du tegnsetting og løse symboler med en rask regex, slik at avsluttende tegn aldri henger fast i ordene dine.
import re
text = re.sub(r"[^a-z0-9 ]", " ", text)Trinn tre: Tokenisering
Del den rensede strengen opp i ord. En vanlig split fungerer godt her fordi du allerede har fjernet den problematiske tegnsettingen.
tokens = text.split()Trinn fire: Fjern stopwords
Filtrer bort støyordene ved hjelp av stops-settet. Bygg settet én gang utenfor funksjonen, slik at det ikke bygges på nytt ved hvert kall.
tokens = [t for t in tokens if t not in stops]Sett det sammen
Koble trinnene sammen i riktig rekkefølge og returner resultatet. Denne kompakte pipeline gjør enhver råstreng om til rene tokens.
def clean_text(text):
text = text.lower()
text = re.sub(r"[^a-z0-9 ]", " ", text)
return [t for t in text.split() if t not in stops]Prøv det
Kall den med en rotete setning og se hvordan overflødig innhold forsvinner. Resultatet er en ryddig liste som er klar for neste trinn i NLP.
print(clean_text("The Cats, dogs! and 2 birds."))Gjør den fleksibel
Legg til et flagg slik at den som kaller funksjonen, kan beholde stopwords ved behov. Valgfrie parametere gjør at én hjelpefunksjon kan brukes til mange oppgaver.
def clean_text(text, drop_stops=True):
...Bruk den i stor skala
Fordi den er en funksjon, kan du bruke map på et helt datasett på én linje og rense hvert dokument på samme måte.
cleaned = [clean_text(doc) for doc in documents]Rask sjekk
Rekkefølgen er viktig når du setter sammen flere rensetrinn.
Oppsummering
Du har bygget en gjenbrukbar clean_text-hjelpefunksjon: små bokstaver, fjern symboler, tokeniser, og fjern deretter stopwords. Én funksjon gir konsistente resultater overalt.
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Bygg en gjenbrukbar funksjon for rensing av tekst» gratis?
Ja – du kan lese valgfritt 3 av leksjonene i læringsstien NLP Academy, inkludert «Bygg en gjenbrukbar funksjon for rensing av tekst», gratis i sin helhet her på nettet. Deretter låser CoddyKit PRO opp alle leksjoner, samt interaktiv øving med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Kurset i NLP Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Bygg en gjenbrukbar funksjon for rensing av tekst»?
Samle trinnene dine i én hjelpefunksjon Du øver på NLP Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med NLP Academy?
Ingen tidligere erfaring er nødvendig. NLP Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 4 av 4.
Hvor lang tid tar leksjonen «Bygg en gjenbrukbar funksjon for rensing av tekst»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne NLP Academy-leksjonen?
Ja. Alle NLP Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Hva er stoppord?
- Filtrer stoppord med NLTK
- Fjern tegnsetting og symboler
- Bygg en gjenbrukbar funksjon for rensing av tekst