Stemming: Kutt ned til roten
Kartlegg running og runs til run
Stemming: Kutt ned til roten er en gratis leksjon i NLP Academy på CoddyKit. Dette er leksjon 3 av 4. Du kan lese valgfritt 3 leksjoner fra denne læringsstien gratis i sin helhet – deretter låser CoddyKit PRO opp alle leksjoner, samt praktisk øving med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i NLP Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i NLP Academy inneholder totalt 4 leksjoner.
Ett ord, mange former
Verbet run forekommer som running, runs og ran. For Dem har de samme betydning, men råtekst teller hver form separat og splitter signalet. 🌱
Stemming introduseres
Stemming kutter endelsene av et ord for å finne en omtrentlig rot som kalles stammen. Målet er å samle beslektede former i ett felles token.
Regler, ikke en ordbok
En stemmer følger enkle regler for suffikser i stedet for å slå opp ord. Den fjerner endelser som ing, ed og s, så den er rask, men litt grov.
PorterStemmer
NLTK leveres med den klassiske PorterStemmer. De oppretter én instans og kaller deretter stem-metoden på hvert ord De vil redusere.
from nltk.stem import PorterStemmer
ps = PorterStemmer()
print(ps.stem('running'))Formene samles
Gi den flere former av det samme verbet, så reduseres de alle til den samme stammen. Nå kan opptellingene endelig summeres.
for w in ['running', 'runs', 'ran']:
print(ps.stem(w))Stammer er ikke virkelige ord
Stemming er en grov metode. Ordet studies blir til studi, som ikke er et virkelig ord, men det samsvarer likevel med study og studied som én stamme.
print(ps.stem('studies'))Vær oppmerksom på overstemming
Noen ganger kutter en stemmer for mye og slår sammen ubeslektede ord. Denne overstemmingen kan viske ut betydningsforskjeller, så kontroller alltid resultatet på teksten Deres.
print(ps.stem('universal'))
print(ps.stem('university'))Stem en tokenliste
I praksis stemmer De hvert token i et dokument. En comprehension bruker stemmeren på hele listen i én ryddig linje.
words = ['cats', 'caring', 'cared']
print([ps.stem(w) for w in words])Det finnes andre stemmere
Porter er standardvalget, men NLTK tilbyr også den raskere SnowballStemmer, som støtter mange språk og retter opp enkelte av Porters svakheter.
from nltk.stem import SnowballStemmer
sb = SnowballStemmer('english')
print(sb.stem('happily'))Gjør bokstavene små først
Stemmere forventer inndata med små bokstaver. Slå sammen store og små bokstaver før stemming, ellers kan Running og running igjen bli behandlet som to forskjellige tokener.
print(ps.stem('Running'.lower()))Når bør De bruke det
Stemming bytter presisjon mot hastighet. Metoden egner seg godt til søk og store pipeliner, der et grovt, men raskt samsvar er bedre enn en langsom og nøyaktig analyse. ⚡
Rask sjekk
La oss feste i minnet hvordan stemming fungerer.
Oppsummering
De har lært at stemming kutter suffikser med enkle regler for å samle ordformer i én stamme. Det er raskt og grovt, og kan noen ganger gi ord som ikke finnes. Godt jobbet! 🎉
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Stemming: Kutt ned til roten» gratis?
Ja – du kan lese valgfritt 3 av leksjonene i læringsstien NLP Academy, inkludert «Stemming: Kutt ned til roten», gratis i sin helhet her på nettet. Deretter låser CoddyKit PRO opp alle leksjoner, samt interaktiv øving med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Kurset i NLP Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Stemming: Kutt ned til roten»?
Kartlegg running og runs til run Du øver på NLP Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med NLP Academy?
Ingen tidligere erfaring er nødvendig. NLP Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 3 av 4.
Hvor lang tid tar leksjonen «Stemming: Kutt ned til roten»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne NLP Academy-leksjonen?
Ja. Alle NLP Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Hvorfor bokstavstorrelse og mellomrom betyr noe
- Gjør om til små bokstaver og fjern mellomrom
- Stemming: Kutt ned til roten
- Lemmatisering: Smartere grunnformer