Deep Learning Academy · Oppitunti

Tokenoikaa teksti ja rakentakaa sanasto

Kuvatkaa teksti kokonaislukutunnisteiksi

Oppitunti 1/413 vaihetta

Tokenoikaa teksti ja rakentakaa sanasto on ilmainen Deep Learning Academy-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Deep Learning Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.

Verkot käsittelevät vain numeroita

Neuroverkko ei pysty lukemaan käsittelemättömiä kirjaimia. Ennen oppimista teksti on muutettava numeroiksi, joita malli pystyy käsittelemään. 🔢

Ensimmäinen vaihe: tokenisointi

Tokenisointi tarkoittaa tekstin jakamista pieniin osiin, joita kutsutaan tokeneiksi. Yksinkertaisin vaihtoehto on jakaa lause välilyöntien kohdalta sanoiksi.

text = "I love deep learning"
tokens = text.split()
# ["I", "love", "deep", "learning"]

Tokenit voivat olla pienempiä

Tokenin ei tarvitse olla kokonainen sana. Se voi olla merkki tai sanan osa, mikä auttaa mallia käsittelemään harvinaisia tai ennestään tuntemattomia sanoja.

Sanaston rakentaminen

Sanasto on kaikkien mallin tuntemien yksilöllisten tokenien joukko. Keräätte jokaisen eri tokenin harjoitustekstistä.

Anna jokaiselle tokenille tunniste

Jokainen yksilöllinen token saa kokonaislukuna esitettävän tunnisteen. Tämä tokenin ja tunnisteen välinen kuvaus muuttaa sanat numeroiksi, joita verkko voi käyttää indeksinä.

vocab = {"i": 0, "love": 1, "deep": 2, "learning": 3}

Lauseen koodaaminen

Tekstin koodaamiseksi haette jokaisen tokenin sanastosta ja korvaatte sen tunnisteella, jolloin tulokseksi saadaan kokonaislukujen luettelo.

ids = [vocab[t] for t in ["i", "love", "deep"]]
# [0, 1, 2]

Tuntemattomien sanojen käsittely

Joitakin testausvaiheen tokeneita ei nähty koskaan harjoituksen aikana. Kuvaakaa ne erityiseksi tuntemattomaksi tokeniksi, jotta malli saa edelleen kelvollisen tunnisteen.

unk_id = vocab.get("dragons", vocab["<unk>"])

Erityistokeneista on hyötyä

Lisätkää erityistokeneita, kuten täyttö-, alku- ja loppumerkkejä. Ne antavat mallille rakennetta pelkkien sanojen lisäksi.

Muunna pieniksi kirjaimiksi ja siisti

Tekstin normalisointi pieniksi kirjaimiksi muuttamalla ja välimerkit poistamalla pienentää sanastoa, jolloin Cat ja cat käyttävät samaa tunnistetta.

Rajoita sanaston kokoa

Oikean maailman tekstikorpuksilla on valtavat sanastot. Säilyttäkää vain yleisimmät tokenit sanaston koon hallitsemiseksi; loput muuttuvat tuntemattomiksi.

Teksti on nyt tensori

Kun lause on koodattu, se on tunnisteiden luettelo, jonka voitte kääriä tensoriksi. Käsittelemättömästä tekstistä mallin syötteeksi kulkeva putki on nyt valmis.

import torch
ids = torch.tensor([0, 1, 2, 3])

Pikatarkistus

Mitä sanaston rakentaminen antaa jokaiselle yksilölliselle tokenille?

Vastaa interaktiivisessa oppitunnissa

Kertaus

Jaottelette tekstin tokeneiksi, kokoatte yksilölliset tokenit sanastoksi ja yhdistätte jokaisen kokonaislukutunnisteeseen, jotta tekstistä tulee numeroita. ✅

Aloita maksutta

Opi Python tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 30
Oppitunnit: 120

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”Tokenoikaa teksti ja rakentakaa sanasto” ilmainen?

Kyllä – oppitunnin ”Tokenoikaa teksti ja rakentakaa sanasto” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Deep Learning Academy-kurssin, päivitä CoddyKit PROhon. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”Tokenoikaa teksti ja rakentakaa sanasto”?

Kuvatkaa teksti kokonaislukutunnisteiksi Harjoittelet Deep Learning Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni Deep Learning Academy-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin Deep Learning Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.

Kuinka kauan ”Tokenoikaa teksti ja rakentakaa sanasto”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä Deep Learning Academy-oppitunnilla?

Kyllä. Jokainen Deep Learning Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

← Takaisin: Deep Learning Academy