Tokeniser og bygg et vokabular
Gjør tekst om til heltalls-ID-er
Tokeniser og bygg et vokabular er en gratis leksjon i Deep Learning Academy på CoddyKit. Dette er leksjon 1 av 4. Du kan lese hele leksjonen gratis nedenfor – og deretter øve praktisk i nettleseren med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt. Den er en del av læringsløpet i Deep Learning Academy, og fremdriften din synkroniseres mellom nettet og CoddyKit-appen. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Nettverk spiser bare tall
Et nevralt nettverk kan ikke lese rå bokstaver. Før læringen kan begynne, må du gjøre tekst om til tall som modellen kan behandle. 🔢
Første steg: Tokenisering
Å tokenisere betyr å dele tekst opp i små deler som kalles tokener. Det enkleste er å dele en setning ved mellomrommene, slik at du får ord.
text = "I love deep learning"
tokens = text.split()
# ["I", "love", "deep", "learning"]Tokener kan være mindre
Et token trenger ikke å være et helt ord. Det kan være et tegn eller en del av et ord, noe som hjelper modellen med å håndtere sjeldne eller ukjente ord.
Bygg et vokabular
Et vokabular er hele mengden unike tokener modellen kjenner. Du samler alle forskjellige tokener fra treningsteksten.
Gi hvert token en id
Hvert unike token får én heltalls-id. Denne koblingen fra token til id er det som gjør ord om til tall nettverket kan slå opp.
vocab = {"i": 0, "love": 1, "deep": 2, "learning": 3}Kod en setning
For å kode tekst slår du opp hvert token i vokabularet og erstatter det med id-en, slik at du får en liste med heltall.
ids = [vocab[t] for t in ["i", "love", "deep"]]
# [0, 1, 2]Håndter ukjente ord
Noen tokener ved testing ble aldri sett under treningen. Koble dem til et spesielt unknown-token, slik at modellen fortsatt får en gyldig id.
unk_id = vocab.get("dragons", vocab["<unk>"])Spesielle tokener hjelper
Legg til spesielle tokener, som padding samt start- og sluttmarkører. De gir modellen struktur utover selve ordene.
Gjør teksten til små bokstaver og rydd opp
Normalisering av tekst ved å gjøre om til små bokstaver og fjerne tegnsetting gjør vokabularet mindre, slik at Cat og cat deler én id.
Begrens størrelsen på vokabularet
Virkelige tekstkorpus har enorme vokabularer. Behold bare de mest frekvente tokenene for å kontrollere vokabularstørrelsen; resten blir ukjente.
Nå er teksten en tensor
Når setningen er kodet, er den en liste med id-er som du kan pakke inn i en tensor. Hele prosessen fra råtekst til modellinput er fullført.
import torch
ids = torch.tensor([0, 1, 2, 3])Rask kontroll
Hva gir det å bygge et vokabular hvert unike token?
Oppsummering
Du deler tekst opp i tokener, samler de unike tokenene i et vokabular og kobler hvert av dem til en heltalls-id, slik at tekst blir til tall. ✅
Lær deg Python med en AI-veileder – gratis
Skriv og kjør ekte kode i nettleseren, få umiddelbar hjelp fra en AI-veileder som er tilgjengelig døgnet rundt, og fortsett der du slapp – på nettet eller i appen.
- Kurs
- 30
- Leksjoner
- 120
Ofte stilte spørsmål
Er leksjonen «Tokeniser og bygg et vokabular» gratis?
Ja – hele teksten i «Tokeniser og bygg et vokabular» er gratis å lese her på nettet. For å øve interaktivt med en innebygd kodeeditor og en AI-veileder som er tilgjengelig døgnet rundt, og for å låse opp resten av Deep Learning Academy-kurset, kan du oppgradere til CoddyKit PRO. Kurset i Deep Learning Academy inneholder totalt 4 leksjoner.
Hva lærer jeg i «Tokeniser og bygg et vokabular»?
Gjør tekst om til heltalls-ID-er Du øver på Deep Learning Academy med praktisk kode som du kjører direkte i nettleseren, mens en AI-veileder som er tilgjengelig døgnet rundt, svarer på spørsmålene dine mens du jobber deg gjennom leksjonen.
Trenger jeg erfaring for å begynne med Deep Learning Academy?
Ingen tidligere erfaring er nødvendig. Deep Learning Academy på CoddyKit er lagt opp for både nybegynnere og viderekomne, så De kan begynne her eller helt fra start og lære i Deres eget tempo. Dette er leksjon 1 av 4.
Hvor lang tid tar leksjonen «Tokeniser og bygg et vokabular»?
De fleste CoddyKit-leksjoner tar omtrent 5–10 minutter. Hver leksjon er kort og interaktiv, slik at De gjør jevne fremskritt og kan fortsette akkurat der De slapp – både på nettet og i appen.
Kan jeg skrive og kjøre kode i denne Deep Learning Academy-leksjonen?
Ja. Alle Deep Learning Academy-leksjoner har en innebygd kodeeditor, slik at De kan skrive og kjøre ekte kode direkte i nettleseren og få umiddelbar tilbakemelding fra AI – uten lokal konfigurering.
Alle leksjonene i dette kurset
- Tokeniser og bygg et vokabular
- nn.Embedding: Lærbare ordvektorer
- Hvorfor embedding-er fanger opp mening
- Tren en tekstklassifikator