NLP Academy · Oppitunti

Merkkijonot, merkit ja koodaukset

Miten teksti tallennetaan tavuina ja Unicodena

Oppitunti 1/413 vaihetta

Merkkijonot, merkit ja koodaukset on ilmainen NLP Academy-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu NLP Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. NLP Academy-kurssilla on yhteensä 4 oppituntia.

Teksti koostuu merkeistä

Jokainen käsittelemäsi tekstinpätkä on merkkijono: järjestetty merkkijono, joka voi sisältää kirjaimia, numeroita, välilyöntejä ja symboleita. 🔤

Merkkijonot Pythonissa

Pythonissa merkkijono ympäröidään lainausmerkeillä. Voit tallentaa kokonaisen lauseen yhteen muuttujaan ja käsitellä sitä yhtenä arvona.

text = "NLP turns text into insight"
print(type(text))  # <class 'str'>

Jokaisella merkillä on sijainti

Merkkijono on indeksoitu, joten jokainen merkki sijaitsee nollasta alkavassa numeroidussa kohdassa. Näin voit käyttää mitä tahansa yksittäistä kirjainta.

word = "data"
print(word[0])  # d
print(word[3])  # a

Tietokoneet tallentavat numeroita

Tietokone ei voi tallentaa A-kirjainta suoraan. Se tallentaa numeron, ja enkoodaus on sovittu kartta merkkien ja näiden numeroiden välillä.

ASCII tuli ensin

ASCII yhdisti 128 englannin kielen perusmerkkiä numeroihin. Se toimi pelkällä englannilla, mutta siinä ei ollut tilaa aksenteille tai muille kirjaimistoille.

Unicode kattaa kaiken

Unicode antaa jokaiselle merkille yksilöllisen koodipisteen englannin kirjaimista kiinalaisiin kirjoitusmerkkeihin ja emojeihin. Pythonin nykyaikaiset merkkijonot ovat Unicodea.

Koodipisteet Pythonissa

ord-funktio näyttää merkin Unicode-numeron, ja chr muuttaa numeron takaisin merkiksi.

print(ord('A'))   # 65
print(chr(233))   # é

Enkoodaus muuttaa tekstin tavuiksi

Tallentaakseen tai lähettääkseen tekstiä Python muuttaa sen tavuiksi UTF-8:n kaltaista menetelmää käyttäen. Tavut ovat sitä, mitä tiedostot ja verkot todellisuudessa siirtävät.

data = "café".encode("utf-8")
print(data)  # b'caf\xc3\xa9'

UTF-8 on oletusvalinta

UTF-8 tallentaa yleiset merkit yhteen tavuun ja harvinaisemmat useampaan. Se on tiivis, yleismaailmallinen ja nykyään lähes kaiken tekstin standardi.

Tavujen dekoodaus takaisin tekstiksi

Raakatavujen lukeminen tarkoittaa niiden dekoodaamista samalla menetelmällä, jota käytettiin enkoodaukseen. Väärä menetelmä tuottaa vääristyneitä tai rikkinäisiä merkkejä.

raw = b'caf\xc3\xa9'
print(raw.decode("utf-8"))  # café

Enkoodausvirheet aiheuttavat mojibakea

Dekoodaus väärällä enkoodauksella tuottaa mojibakea, oudoista symboleista koostuvaa sekasotkua. Tiedä aina enkoodauksesi ja käytä samaa enkoodausta sen välttämiseksi.

Pikatarkistus

Tarkastellaanpa kahden keskeisen tekstistandardin eroa.

Vastaa interaktiivisessa oppitunnissa

Kertaus: teksti enkoodattuina merkkijonoina

Näimme, että teksti on merkkien muodostama merkkijono, jonka Unicode yhdistää numeroihin ja joka tallennetaan UTF-8-tavuina. Kun enkoodaukset täsmäävät, tekstisi pysyy siistinä. ✅

Aloita maksutta

Opi Python tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 30
Oppitunnit: 120

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”Merkkijonot, merkit ja koodaukset” ilmainen?

Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa NLP Academy-oppimispolun 3 oppituntia, myös oppitunnin “Merkkijonot, merkit ja koodaukset”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. NLP Academy-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”Merkkijonot, merkit ja koodaukset”?

Miten teksti tallennetaan tavuina ja Unicodena Harjoittelet NLP Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni NLP Academy-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin NLP Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.

Kuinka kauan ”Merkkijonot, merkit ja koodaukset”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä NLP Academy-oppitunnilla?

Kyllä. Jokainen NLP Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

← Takaisin: NLP Academy