Mitä stopwordit ovat
Yleiset sanat, joilla on vähän merkityssisältöä
Mitä stopwordit ovat on ilmainen NLP Academy-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu NLP Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Sanat, joilla on vähän merkitystä
Jotkin sanat esiintyvät kaikkialla, mutta kertovat aiheesta tuskin mitään. Kutsumme näitä stop-sanoiksi, ja niiden tunnistaminen on ensimmäinen puhdistustaitonne.
Tunnistakaa ne itse
Lukekaa tämä rivi: the cat sat on the mat. Var sinainen signaali on sanoissa cat, sat ja mat. Sanat the ja on ovat vain lauseen koossa pitävää liimaa.
Miksi ne haittaavat
Stop-sanat ovat niin yleisiä, että ne esiintyvät lähes jokaisessa dokumentissa. Siksi ne ovat hyödyttömiä eroteltaessa dokumentteja toisistaan.
Tavalliset epäillyt
Tyypillisiä englannin stop-sanoja ovat the, a, is, and, of, to, in ja it. Pronomineja ja prepositioita esiintyy tässä joukossa paljon.
Häly vastaan signaali
Ajatelkaa NLP:tä äänen kuuntelemisena meluisassa huoneessa. Stop-sanojen poistaminen vaimentaa hälyä, jotta merkitykselliset sanat kuuluvat selkeästi.
Pieni stop-sanajoukko
Voitte aloittaa omalla pienellä joukolla. Pythonin set mahdollistaa nopeat jäsenyyden tarkistukset, joita suodattaminen juuri tarvitsee.
stopwords = {"the", "a", "is", "and", "of", "to"}
print("the" in stopwords)Miksi joukko eikä luettelo
Sen tarkistaminen, kuuluuko sana joukkoon, on lähes välitöntä, vaikka stop-sanoja olisi tuhansia. Luettelo hidastuisi kasvaessaan.
Yhtä ainoaa oikeaa luetteloa ei ole
Yhtä virallista luetteloa ei ole. Jokainen kirjasto ja projekti ylläpitää omaa stop-sanaluetteloaan, joten luettelot eroavat hieman toisistaan.
Milloin ne kannattaa säilyttää
Stop-sanat eivät ole aina roskaa. Tehtävissä, kuten mielipideanalyysissä tai kirjoittajan tyylin tunnistamisessa, pienillä sanoilla kuten not ja very on todellista merkitystä, joten ne kannattaa säilyttää.
Aihealueen stop-sanat
Omassa aineistossanne voi olla omaa hälyään. Lakitekstissä esimerkiksi sanat hereby ja shall toimivat aihealueen stop-sanoina, jotka kannattaa myös poistaa.
Puhdistamisen ajattelutapa
Stop-sanojen poistaminen on yksi osa laajempaa puhdistustapaa: poistakaa se, mikä ei lisää signaalia, ja säilyttäkää se, mikä auttaa mallianne tekemään päätöksen.
Pikakertaus
Varmistetaan, että stop-sanan idea jäi mieleen.
Kertaus
Hienoa työtä. Stop-sanat ovat erittäin yleisiä sanoja, jotka lisäävät vain vähän signaalia, joten suodatamme ne usein pois ja säilytämme tehtävän kannalta tärkeät sanat.
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Mitä stopwordit ovat” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa NLP Academy-oppimispolun 3 oppituntia, myös oppitunnin “Mitä stopwordit ovat”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Mitä stopwordit ovat”?
Yleiset sanat, joilla on vähän merkityssisältöä Harjoittelet NLP Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni NLP Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin NLP Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.
Kuinka kauan ”Mitä stopwordit ovat”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä NLP Academy-oppitunnilla?
Kyllä. Jokainen NLP Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Mitä stopwordit ovat
- Stopwordien suodattaminen NLTK:lla
- Välimerkkien ja symbolien poistaminen
- Uudelleenkäytettävän puhdistustoiminnon rakentaminen