Bygg et vokabular
Knytt hvert ord til en fast indeks
Bygg et vokabular er en gratis leksjon i NLP Academy på CoddyKit. Dette er leksjon 2 av 4. Du kan lese valgfritt 3 leksjoner fra denne læringsstien gratis i sin helhet – deretter låser CoddyKit PRO opp alle leksjoner, samt praktisk øving med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i NLP Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i NLP Academy inneholder totalt 4 leksjoner.
Hva er et vokabular?
Et vokabular er hele mengden unike ord modellen kjenner. Hvert ord får en fast plass i hver dokumentvektor. 📖
Samle alle unike ord
For å bygge det samler De alle ord fra dokumentene og beholder bare de unike, mens gjentakelser fjernes.
words = set("the cat sat the mat".split())Gi hvert ord en indeks
Sorter de unike ordene og tildel hvert av dem et tall. Denne koblingen fra ord til indeks er vokabularoppslaget.
vocab = {w: i for i, w in enumerate(sorted(words))}Indeksen bestemmer plassen
Indeksen forteller et ord hvilken posisjon det har i hver vektor, slik at cat alltid havner i samme kolonne.
Vokabularet bestemmer vektorlengden
Hvis vokabularet inneholder 5000 ord, blir hvert dokument en vektor med 5000 tall, én plass per ord.
Rekkefølgen må være fast
Når koblingen er opprettet, må den aldri endres. En stabil rekkefølge garanterer at kolonne 3 betyr det samme ordet for hvert dokument.
Ord utenfor vokabularet
Et ord som ikke finnes i vokabularet, kalles utenfor vokabularet. Det enkleste er å ignorere det under opptellingen.
Fjern sjeldne ord
Ord som forekommer én gang, tilfører støy og størrelse. Hvis De fjerner svært sjeldne termer, blir vokabularet mindre og ryddigere.
Fjern svært vanlige ord
De kan også fjerne ord som forekommer i nesten alle dokumenter. Disse stoppordene hjelper sjelden med å skille dokumenter fra hverandre.
Slå opp en indeks
Når kartet er bygget, finner De en ordposisjon umiddelbart. Bare slå opp ordboken med ordet De ønsker.
print(vocab["cat"]) # the column index for catVokabularet gjør opptelling mulig
Dette kartet er grunnlaget for vektoriseringen. Deretter fyller De hver plass med hvor ofte ordet forekommer i et dokument.
Rask kontroll
Hva representerer en ordindeks?
Oppsummering: Vokabularet Deres
De bygde et vokabular med unike ord, koblet hvert ord til en fast indeks og så hvordan beskjæring holder det lite og nyttig. 🎉
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Bygg et vokabular» gratis?
Ja – du kan lese valgfritt 3 av leksjonene i læringsstien NLP Academy, inkludert «Bygg et vokabular», gratis i sin helhet her på nettet. Deretter låser CoddyKit PRO opp alle leksjoner, samt interaktiv øving med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Kurset i NLP Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Bygg et vokabular»?
Knytt hvert ord til en fast indeks Du øver på NLP Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med NLP Academy?
Ingen tidligere erfaring er nødvendig. NLP Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 2 av 4.
Hvor lang tid tar leksjonen «Bygg et vokabular»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne NLP Academy-leksjonen?
Ja. Alle NLP Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Hvorfor modeller trenger tall, ikke ord
- Bygg et vokabular
- Tell med CountVectorizer
- Les dokument-term-matrisen