Een herbruikbare clean-textfunctie bouwen
Bundel uw stappen in één helper
Een herbruikbare clean-textfunctie bouwen is een gratis NLP Academy-les op CoddyKit. Dit is les 4 van 4. Je kunt 3 lessen uit dit leerpad gratis volledig lezen — daarna ontgrendelt CoddyKit PRO alle lessen, plus praktische oefeningen met een ingebouwde code-editor en een AI-tutor die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject NLP Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus NLP Academy bevat in totaal 4 lessen.
Alles samenbrengen
Je hebt geleerd tekst om te zetten naar kleine letters, stopwoorden te verwijderen en leestekens weg te halen. Nu bundelen we dit in één herbruikbare functie die je overal kunt aanroepen.
Waarom een hulpfunctie beter is dan kopiëren en plakken
Met één clean_text-functie krijgt elk document exact dezelfde behandeling. Los een fout één keer op en het hele project profiteert daarvan.
Begin met een signatuur
Bepaal eerst de vorm. De functie neemt onbewerkte tekst in en geeft een schone lijst met tokens terug: de standaardinvoer voor latere stappen.
def clean_text(text):
passStap één: kleine letters
Begin door alles om te zetten naar kleine letters. Daardoor worden The en the als hetzelfde herkend en groeit je woordenschat niet dubbel zo groot.
text = text.lower()Stap twee: symbolen verwijderen
Verwijder vervolgens leestekens en losse symbolen met een snelle regex, zodat afsluitende tekens nooit aan je woorden blijven kleven.
import re
text = re.sub(r"[^a-z0-9 ]", " ", text)Stap drie: tokeniseren
Splits de opgeschoonde tekenreeks op in woorden. Een gewone split werkt hier goed, omdat je de rommelige leestekens al hebt verwijderd.
tokens = text.split()Stap vier: stopwoorden verwijderen
Filter de ruiswoorden weg met je verzameling stops. Bouw die verzameling één keer buiten de functie op, zodat ze niet bij elke aanroep opnieuw wordt opgebouwd.
tokens = [t for t in tokens if t not in stops]Alles samenvoegen
Voer de stappen in de juiste volgorde uit en geef het resultaat terug. Deze compacte verwerkingsketen zet elke onbewerkte tekenreeks om in schone tokens.
def clean_text(text):
text = text.lower()
text = re.sub(r"[^a-z0-9 ]", " ", text)
return [t for t in text.split() if t not in stops]Probeer het uit
Roep de functie aan met een rommelige zin en kijk hoe de overbodige elementen verdwijnen. De uitvoer is een nette lijst die klaar is voor de volgende stap in NLP.
print(clean_text("The Cats, dogs! and 2 birds."))Maak het flexibel
Voeg een vlag toe waarmee aanroepers stopwoorden kunnen behouden wanneer dat nodig is. Met optionele parameters kan één hulpfunctie voor veel taken worden gebruikt.
def clean_text(text, drop_stops=True):
...Pas het op grote schaal toe
Omdat het een functie is, kun je die in één regel op een volledige gegevensverzameling toepassen en elk document op dezelfde manier opschonen.
cleaned = [clean_text(doc) for doc in documents]Korte controle
De volgorde is belangrijk wanneer je opschoningsstappen aan elkaar koppelt.
Samenvatting
Je hebt een herbruikbare hulpfunctie clean_text gebouwd: omzetten naar kleine letters, symbolen verwijderen, tokeniseren en daarna stopwoorden verwijderen. Eén functie, overal consistente resultaten.
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “Een herbruikbare clean-textfunctie bouwen” gratis?
Ja — je kunt hier op het web alle 3 lessen van het leerpad NLP Academy, waaronder “Een herbruikbare clean-textfunctie bouwen”, gratis volledig lezen. Daarna ontgrendelt CoddyKit PRO alle lessen, plus interactieve oefeningen met een ingebouwde code-editor en een AI-tutor die 24/7 beschikbaar is. De cursus NLP Academy bevat in totaal 4 lessen.
Wat leer ik in “Een herbruikbare clean-textfunctie bouwen”?
Bundel uw stappen in één helper Je oefent met NLP Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met NLP Academy te beginnen?
Ervaring vooraf is niet nodig. NLP Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 4 van 4.
Hoe lang duurt de les “Een herbruikbare clean-textfunctie bouwen”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over NLP Academy?
Ja. Elke les over NLP Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- Wat zijn stopwoorden?
- Stopwoorden filteren met NLTK
- Interpunctie en symbolen verwijderen
- Een herbruikbare clean-textfunctie bouwen