Laskeminen CountVectorizerilla
Muunna dokumentit laskentamatriisiksi
Laskeminen CountVectorizerilla on ilmainen NLP Academy-oppitunti CoddyKitissä. Tämä on oppitunti 3/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu NLP Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Tutustu CountVectorizeriin
scikit-learn-kirjaston CountVectorizer muodostaa sanaston ja laskee sanat puolestasi vain muutamalla koodirivillä. 🚀
from sklearn.feature_extraction.text import CountVectorizerLuo vektoroija
Luo ensin instanssi. Ilman argumentteja se käyttää järkeviä oletusasetuksia tekstin tokenisointiin ja muuttamiseen pienaakkosiksi.
vectorizer = CountVectorizer()Fit oppii sanaston
fit-kutsun avulla käydään dokumentit läpi, löydetään kaikki yksilölliset sanat ja muodostetaan sanasto automaattisesti.
vectorizer.fit(docs)Transform tuottaa laskennat
transform muuntaa jokaisen dokumentin sen laskentavektoriksi ja antaa tulokseksi sanojen esiintymistiheyksien numeerisen matriisin.
X = vectorizer.transform(docs)Fit ja transform yhdessä
Oikotie fit_transform suorittaa molemmat vaiheet kerralla opetustekstille, mikä on tavallinen työnkulku.
X = vectorizer.fit_transform(docs)Näytä sanasto
Tarkastele opittuja sanoja ja niiden indeksejä komennolla get_feature_names_out. Näistä muodostuvat matriisin sarakkeet.
print(vectorizer.get_feature_names_out())Tuloksena on harva matriisi
Muistin säästämiseksi tuloksena on harva matriisi, joka tallentaa vain nollasta poikkeavat laskennat kaikkien nollapaikkojen sijaan.
Kurkaa lukuja
Muunna tulos tiiviiksi taulukoksi, jotta voit lukea laskennat. Käytä toarray-metodia vain pienissä esimerkeissä.
print(X.toarray())Pienaakkosiksi muuntaminen tapahtuu automaattisesti
Oletusarvoisesti teksti muutetaan pienaakkosiksi ja jaetaan sanarajojen kohdalta, joten The ja the lasketaan samaksi tokeniksi.
Sisäänrakennetut puhdistusasetukset
Voit antaa asetukset stop_words, min_df tai max_features karsia sanastoa suoraan vektoroijan sisällä.
CountVectorizer(stop_words="english", max_features=1000)Käytä uudelleen uudella tekstillä
Älä koskaan opeta mallia uudelleen testidatalla. Kutsu vain transform-metodia, jotta uudet dokumentit käyttävät täsmälleen samaa sanastoa kuin opetuksessa.
X_new = vectorizer.transform(new_docs)Pikatarkistus
Millä kutsulla sanasto opitaan ja laskennat tehdään yhdellä kertaa?
Kertaus: CountVectorizer
Käytit CountVectorizer-luokkaa sanaston opettamiseen, tekstin muuntamiseen laskennoiksi, piirteiden tarkasteluun ja sen uudelleenkäyttöön uudella datalla. 🎉
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Laskeminen CountVectorizerilla” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa NLP Academy-oppimispolun 3 oppituntia, myös oppitunnin “Laskeminen CountVectorizerilla”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Laskeminen CountVectorizerilla”?
Muunna dokumentit laskentamatriisiksi Harjoittelet NLP Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni NLP Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin NLP Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 3/4.
Kuinka kauan ”Laskeminen CountVectorizerilla”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä NLP Academy-oppitunnilla?
Kyllä. Jokainen NLP Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Miksi mallit tarvitsevat numeroita eivätkä sanoja
- Sanaston rakentaminen
- Laskeminen CountVectorizerilla
- Dokumentti-termi-matriisin tulkitseminen