Välimerkkien ja symbolien poistaminen
Siivoa pois merkit, jotka sekoittavat malleja
Välimerkkien ja symbolien poistaminen on ilmainen NLP Academy-oppitunti CoddyKitissä. Tämä on oppitunti 3/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu NLP Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Myös välimerkit ovat kohinaa
Stopwordien jälkeen seuraava häiriötekijä ovat symbolit. Pilkut, dollarimerkit ja emojit voivat sekoittaa mallia, joten poistamme usein välimerkit.
Miksi sillä on merkitystä
Ilman puhdistusta malli näkee cat- ja cat-sanat kahtena eri tokenina. Lopussa oleva pilkku jakaa yhden sanan kahdeksi piirteeksi.
Python tuntee merkit
string-moduuli tarjoaa kaikki yleiset merkit yhdessä vakiossa nimeltä punctuation, joten niitä ei tarvitse kirjoittaa käsin.
import string
print(string.punctuation)translate-temppu
Nopein tapa poistaa merkkejä on käyttää str.translate-menetelmää taulukon kanssa, joka yhdistää jokaisen merkin tyhjään merkkijonoon.
table = str.maketrans("", "", string.punctuation)
clean = "hello, world!".translate(table)
print(clean)Tokenikohtainen puhdistus
Voitte myös poistaa merkit token kerrallaan. Käyttäkää translate-menetelmää listan muodostuslausekkeessa ja poistakaa sitten kaikki tyhjiksi muuttuneet tokenit.
clean = [t.translate(table) for t in tokens]
clean = [t for t in clean if t]Regex symbolien käsittelyyn
Tarvitsetteko enemmän hallintaa kuin kiinteä lista tarjoaa? regex voi poistaa kaiken, mikä ei ole kirjain, numero tai välilyönti.
import re
clean = re.sub(r"[^a-zA-Z0-9 ]", "", text)Varokaa hyödyllisiä merkkejä
Joillakin symboleilla on merkitys. Kaikkien pisteiden poistaminen muuttaa muodon u.s.a muotoon usa, eikä se välttämättä ole tehtävän kannalta se, mitä haluatte.
Numerot ovat valinta
Numerot eivät ole välimerkkejä, mutta ne ovat usein kohinaa. Päättäkää tietoisesti, säilytättekö vai poistatteko numerot aineistostanne.
no_digits = re.sub(r"\d+", "", text)Huomioikaa Unicode-symbolit
ASCII-välimerkkijoukosta puuttuvat kaarevat lainausmerkit ja emojit. Unicode-tietoinen regex löytää symbolit, jotka kiinteä lista jättää jäljelle.
clean = re.sub(r"[^\w\s]", "", text)Yhdistäkää ylimääräiset välilyönnit
Merkkien poistaminen voi jättää aukkoja ja kaksoisvälilyöntejä. Nopea whitespace-käsittely siistii tuloksen jälleen selkeiksi sanoiksi.
clean = re.sub(r"\s+", " ", clean).strip()Toimintojen järjestys
Järjestyksellä on merkitystä. Poistakaa välimerkit ennen jakamista tai vertailua, jotta lopussa olevat merkit eivät päädy lopullisiin tokeneihin.
Pikatarkistus
Valitkaa siistein tapa poistaa välimerkit merkkijonosta.
Kertaus
Osaatte nyt poistaa välimerkit translate-menetelmällä tai regexillä, käsitellä Unicoden ja numerot tietoisesti sekä yhdistää jäljelle jääneet välilyönnit siisteiksi tokeneiksi.
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Välimerkkien ja symbolien poistaminen” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa NLP Academy-oppimispolun 3 oppituntia, myös oppitunnin “Välimerkkien ja symbolien poistaminen”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Välimerkkien ja symbolien poistaminen”?
Siivoa pois merkit, jotka sekoittavat malleja Harjoittelet NLP Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni NLP Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin NLP Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 3/4.
Kuinka kauan ”Välimerkkien ja symbolien poistaminen”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä NLP Academy-oppitunnilla?
Kyllä. Jokainen NLP Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Mitä stopwordit ovat
- Stopwordien suodattaminen NLTK:lla
- Välimerkkien ja symbolien poistaminen
- Uudelleenkäytettävän puhdistustoiminnon rakentaminen