Sanaston rakentaminen
Yhdistä jokainen sana kiinteään indeksiin
Sanaston rakentaminen on ilmainen NLP Academy-oppitunti CoddyKitissä. Tämä on oppitunti 2/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu NLP Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Mikä on sanasto?
Sanasto on kaikkien niiden yksilöllisten sanojen joukko, jotka mallisi tuntee. Jokainen sana saa jokaisessa dokumenttivektorissa oman kiinteän paikkansa. 📖
Kerää kaikki yksilölliset sanat
Muodosta sanasto keräämällä kaikki sanat dokumenteistasi ja säilyttämällä vain ainutkertaiset sanat eli poistamalla toistot.
words = set("the cat sat the mat".split())Anna jokaiselle sanalle indeksi
Lajittele yksilölliset sanat ja anna jokaiselle numero. Tämä sanan ja indeksin välinen kuvaus on sanaston hakemisto.
vocab = {w: i for i, w in enumerate(sorted(words))}Indeksi määrittää paikan
Indeksi kertoo, missä kohdassa sana sijaitsee jokaisessa vektorissa, joten cat päätyy aina samaan sarakkeeseen.
Sanasto määrittää vektorin pituuden
Jos sanastossa on 5000 sanaa, jokaisesta dokumentista muodostetaan 5000 luvun vektori, jossa on yksi paikka sanaa kohden.
Järjestyksen on pysyttävä kiinteänä
Kun kuvaus on määritetty, se ei saa muuttua. Vakaa järjestys takaa, että sarake 3 tarkoittaa samaa sanaa jokaisessa dokumentissa.
Sanaston ulkopuoliset sanat
Sanastoon kuulumatonta sanaa kutsutaan sanaston ulkopuoliseksi. Yksinkertaisin vaihtoehto on jättää se huomiotta laskennassa.
Harvinaisten sanojen karsiminen
Vain kerran esiintyvät sanat lisäävät kohinaa ja kokoa. Erittäin harvinaisten termien poistaminen pitää sanaston pienempänä ja selkeämpänä.
Hyvin yleisten sanojen poistaminen
Voit myös poistaa sanat, jotka esiintyvät lähes jokaisessa dokumentissa. Nämä stop-sanat auttavat harvoin erottamaan dokumentteja toisistaan.
Hae indeksi
Kun kuvaus on rakennettu, sanan sijainnin löytäminen tapahtuu hetkessä. Hae haluamasi sana suoraan sanakirjasta.
print(vocab["cat"]) # the column index for catSanasto mahdollistaa laskennan
Tämä kuvaus on vektorisaation perusta. Seuraavaksi täytät jokaisen paikan sillä, kuinka usein kyseinen sana esiintyy dokumentissa.
Pikatarkistus
Mitä sanan indeksi kuvaa?
Kertaus: sanastosi
Muodostit yksilöllisten sanojen sanaston, yhdistit jokaisen sanan kiinteään indeksiin ja näit, kuinka karsiminen pitää sanaston suppeana ja hyödyllisenä. 🎉
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Sanaston rakentaminen” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa NLP Academy-oppimispolun 3 oppituntia, myös oppitunnin “Sanaston rakentaminen”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Sanaston rakentaminen”?
Yhdistä jokainen sana kiinteään indeksiin Harjoittelet NLP Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni NLP Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin NLP Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 2/4.
Kuinka kauan ”Sanaston rakentaminen”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä NLP Academy-oppitunnilla?
Kyllä. Jokainen NLP Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Miksi mallit tarvitsevat numeroita eivätkä sanoja
- Sanaston rakentaminen
- Laskeminen CountVectorizerilla
- Dokumentti-termi-matriisin tulkitseminen