Stopwoorden filteren met NLTK
Verwijder ruis uit een tokenlijst
Stopwoorden filteren met NLTK is een gratis NLP Academy-les op CoddyKit. Dit is les 2 van 4. Je kunt 3 lessen uit dit leerpad gratis volledig lezen — daarna ontgrendelt CoddyKit PRO alle lessen, plus praktische oefeningen met een ingebouwde code-editor en een AI-tutor die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject NLP Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus NLP Academy bevat in totaal 4 lessen.
Laat NLTK het zware werk doen
Zelf een lijst met stopwoorden maken is prima, maar NLTK bevat al een samengestelde lijst voor veel talen. Laten we die gebruiken voor een lijst met tokens.
Haal eerst de gegevens op
NLTK bewaart woordenlijsten als downloadbare gegevens. Je haalt het pakket stopwords één keer op en daarna blijft het op je computer staan.
import nltk
nltk.download("stopwords")Laad de Engelse lijst
Importeer nu het corpus en vraag de Engelse lijst op. Je krijgt een gewone lijst met woorden die je kunt bekijken of waartegen je kunt filteren.
from nltk.corpus import stopwords
stops = stopwords.words("english")
print(len(stops))Zet de lijst om naar een set
De lijst werkt, maar een set maakt controles op lidmaatschap veel sneller. Wikkel de lijst één keer in een set en gebruik die voor elk token opnieuw.
stops = set(stopwords.words("english"))Filter met een comprehensie
Een lijstcomprehensie behoudt alleen de woorden die not stopwoorden zijn. Deze ene regel vormt de kern van het verwijderen van stopwoorden.
tokens = ["the", "quick", "brown", "fox"]
clean = [w for w in tokens if w not in stops]
print(clean)Let op hoofdletters
De lijst gebruikt kleine letters, dus The komt niet overeen met the. Zet je tokens eerst om naar kleine letters, anders blijven stopwoorden met een hoofdletter achter.
clean = [w for w in tokens if w.lower() not in stops]Zie het verschil
Voor het filteren heb je misschien tien tokens; erna blijven alleen de vier betekenisvolle over. Die afname is de ruis die je zojuist hebt verwijderd.
Ook andere talen
NLTK is niet alleen voor Engels. Vervang het argument om een lijst met stopwoorden voor Spaans, Duits, Frans en nog veel meer talen op te halen.
spanish = set(stopwords.words("spanish"))Pas de lijst aan
De lijst is gewoon een verzameling, dus je kunt er met normale bewerkingen op verzamelingen je eigen domeinspecifieke ruis aan toevoegen voordat je gaat filteren.
stops.add("subject")
stops.update(["http", "www"])Of houd er een paar achter
Wil je een woord zoals ‘niet’ behouden? Verwijder het dan uit de verzameling, zodat het bij het filteren nooit wordt weggehaald.
stops.discard("not")Eenmalig filteren, vaak hergebruiken
Bouw je verzameling stops één keer op bij het opstarten, niet binnen een lus. Als je die voor elk document opnieuw opbouwt, verspil je onnodig veel tijd.
Korte controle
Eén detail brengt bijna iedereen de eerste keer in de war.
Samenvatting
Je kunt tokens nu filteren op basis van NLTK-stopwoorden: download ze één keer, bouw een verzameling met kleine letters en houd alleen woorden die er niet in staan. Let op hoofdlettergebruik.
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “Stopwoorden filteren met NLTK” gratis?
Ja — je kunt hier op het web alle 3 lessen van het leerpad NLP Academy, waaronder “Stopwoorden filteren met NLTK”, gratis volledig lezen. Daarna ontgrendelt CoddyKit PRO alle lessen, plus interactieve oefeningen met een ingebouwde code-editor en een AI-tutor die 24/7 beschikbaar is. De cursus NLP Academy bevat in totaal 4 lessen.
Wat leer ik in “Stopwoorden filteren met NLTK”?
Verwijder ruis uit een tokenlijst Je oefent met NLP Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met NLP Academy te beginnen?
Ervaring vooraf is niet nodig. NLP Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 2 van 4.
Hoe lang duurt de les “Stopwoorden filteren met NLTK”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over NLP Academy?
Ja. Elke les over NLP Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- Wat zijn stopwoorden?
- Stopwoorden filteren met NLTK
- Interpunctie en symbolen verwijderen
- Een herbruikbare clean-textfunctie bouwen