Miksi yksittäiset sanat menettävät merkityksensä
Miten not bad eroaa sanasta bad
Miksi yksittäiset sanat menettävät merkityksensä on ilmainen NLP Academy-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu NLP Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Sanat yksinään
Tähän asti olet käsitellyt tekstiä yksittäisten sanojen joukkona. Merkitys syntyy kuitenkin usein siitä, miten sanat ovat toistensa vieressä, ei mistään yksittäisestä sanasta.
Bag-of-words-mallin katvealue
Bag-of-words-malli hävittää sanojen järjestyksen. Sen näkökulmasta alla olevat kaksi lausetta ovat identtisiä, vaikka niiden merkitys on vastakkainen. 😮
a = sorted("this is not good".split())
b = sorted("good is not this".split())
print(a == b) # TrueNot bad vai bad
Ajattele arviota, jossa sanotaan not bad. Pelkkä bad-sana näyttää kielteiseltä, mutta sanapari muuttaa merkityksen lievästi myönteiseksi.
Kielto katoaa
Kun lasket sanat yksi kerrallaan, sana not jää irralliseksi. Malli ei koskaan opi, minkä sanan se todellisuudessa kielsi.
tokens = "not bad".split()
print(tokens) # ['not', 'bad'] counted apartLausekkeet kantavat merkitystä
Luonnollinen kieli on täynnä lausekkeita, kuten new york ja machine learning. Jos hajotat ne osiin, menetät yhdessä nimeämän käsitteen.
Järjestys muuttaa kaiken
Vertaa lauseita dog bites man ja man bites dog. Samat kolme sanaa, mutta uutinen on aivan erilainen. Järjestys sisältää tietoa, jonka yksittäiset sanat hävittävät.
N-grammit käyttöön
N-grammi on lyhyt, peräkkäisten n sanan muodostama jakso. Se on yksinkertaisin tapa yhdistää naapurisanat ja säilyttää hieman paikallista asiayhteyttä.
Tunnet jo unigrammit
Yksittäinen sana on unigrammi, eli yhden alkion n-grammi. Bag-of-words oli siis koko ajan salaa n-grammimalli.
text = "not bad at all"
unigrams = text.split()
print(unigrams)Sanaparit palauttavat asiayhteyden
Kun siirryt kokoon kaksi, not bad muodostaa yhden piirteen. Nyt malli voi oppia, että tämä pari on merkitykseltään myönteinen.
Liukuva ikkuna
Kuvittele pieni ikkuna, joka liukuu tekstin poikki askel kerrallaan ja poimii jokaisen peräkkäisten sanojen ryhmän, jonka yli se kulkee.
Asiayhteys, ei kielioppi
N-grammit eivät ymmärrä kielioppia. Ne vain säilyttävät tiedon siitä, mitkä sanat esiintyvät yhdessä, ja tämä pieni vihje parantaa monia NLP-tehtäviä.
Pikatarkistus
Miksi tavalliset yksittäisiin sanoihin perustuvat piirteet käsittelevät huonosti not bad -lauseketta?
Kertaus: miksi sanaparit ovat tärkeitä
Yksittäiset sanat eivät huomioi järjestystä, joten kiellot ja lausekkeet katoavat. N-grammit pitävät naapurisanat yhdessä ja palauttavat paikallisen asiayhteyden. Seuraavaksi opit nimeämään ne. ✨
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Miksi yksittäiset sanat menettävät merkityksensä” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa NLP Academy-oppimispolun 3 oppituntia, myös oppitunnin “Miksi yksittäiset sanat menettävät merkityksensä”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Miksi yksittäiset sanat menettävät merkityksensä”?
Miten not bad eroaa sanasta bad Harjoittelet NLP Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni NLP Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin NLP Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.
Kuinka kauan ”Miksi yksittäiset sanat menettävät merkityksensä”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä NLP Academy-oppitunnilla?
Kyllä. Jokainen NLP Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Miksi yksittäiset sanat menettävät merkityksensä
- Bigrammit ja trigrammit selitettyinä
- N-grammiominaisuudet scikit-learnilla
- Sopivan N-grammialueen valitseminen