Tietojen lajittelu ja kaksoiskappaleiden poisto (sort, uniq, cut)
Muunna raakateksti siisteiksi ja järjestetyiksi tiedoiksi. Opettele lajittelemaan rivejä, poistamaan kaksoiskappaleita uniq-komennolla ja poimimaan sarakkeita cut-komennolla sekä yhdistämään komennot putkiksi.
Tietojen lajittelu ja kaksoiskappaleiden poisto (sort, uniq, cut) on ilmainen DevOps-bootcamp-oppitunti CoddyKitissä. Tämä on oppitunti 4/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu DevOps-bootcamp-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. DevOps-bootcamp-kurssilla on yhteensä 4 oppituntia.
Tekstidatan muotoilu
Lokitiedostot ja CSV-tiedostot ovat vain tekstirivejä. Kolme perinteistä työkalua käsittelee niitä: sort järjestää rivit, uniq poistaa kaksoiskappaleet ja cut poimii sarakkeita.
Perusjärjestäminen
sort järjestää rivit oletusarvoisesti aakkosjärjestykseen ja tulostaa tuloksen.
sort names.txtNumeerinen järjestäminen
Tavallinen sort käsittelee numerot tekstinä (10 ennen 2:ta). Käyttäkää -n-valitsinta todelliseen numeeriseen järjestykseen ja -r-valitsinta käänteiseen järjestykseen.
sort -n sizes.txt
sort -nr sizes.txt # largest firstKentän mukaan järjestäminen
Käyttäkää -k-valitsinta tietyn sarakkeen mukaan järjestämiseen ja -t-valitsinta erottimen määrittämiseen.
sort -t: -k3 -n /etc/passwd # by UIDKaksoiskappaleiden poistaminen uniq-komennolla
uniq yhdistää peräkkäiset samanlaiset rivit. Se toimii vain järjestetyn syötteen kanssa, joten sitä käytetään lähes aina yhdessä sort-komennon kanssa.
sort access.log | uniqEsiintymien laskeminen
uniq -c lisää jokaisen rivin eteen sen esiintymiskertojen määrän – täydellinen frekvenssianalyysiin.
sort ips.txt | uniq -cYleisimpien alkioiden etsiminen
Yhdistämällä sort-, uniq -c- ja toinen sort-komento voitte järjestää alkiot esiintymistiheyden mukaan – näin syntyy yksirivinen "top N" -raportti.
sort ips.txt | uniq -c | sort -nr | head -5Sarakkeiden poimiminen cut-komennolla
cut poimii kenttiä jokaiselta riviltä. Käyttäkää -d-valitsinta erottimelle ja -f-valitsinta kenttien numeroille.
cut -d, -f1,3 data.csv # 1st and 3rd columnsLeikkaaminen merkkien perusteella
cut -c poimii merkkialueita sijainnin perusteella, mikä on hyödyllistä kiinteän levyiselle datalle.
cut -c1-8 dates.txt # first 8 charsUniq- ja kaksoiskappalerivit
uniq -d näyttää vain toistuvat rivit, kun taas uniq -u näyttää vain täsmälleen kerran esiintyvät rivit.
sort orders.txt | uniq -d # repeated onlyLiukuhihnan rakentaminen
Varsinainen teho syntyy ketjuttamisesta: poimikaa sarake, järjestäkää se ja laskekaa sitten yksilölliset arvot yhteenvedoksi yhdellä komennolla.
cut -d, -f2 sales.csv | sort | uniq -c | sort -nrPikatarkistus
Testatkaa ymmärryksenne.
Kertaus
Opitte käsittelemään dataa komennoilla sort (aakkosjärjestys, numeerinen -n, kentän mukaan -k), uniq (peräkkäisten rivien kaksoiskappaleiden poisto, -c-laskenta, -d/-u) ja cut (-d/-f-kentät, -c-merkit) – ketjuttamalla ne tehokkaiksi putkiksi.
Opi DevOps-bootcamp tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 142
- Oppitunnit
- 568
Usein kysytyt kysymykset
Onko oppitunti ”Tietojen lajittelu ja kaksoiskappaleiden poisto (sort, uniq, cut)” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa DevOps-bootcamp-oppimispolun 3 oppituntia, myös oppitunnin “Tietojen lajittelu ja kaksoiskappaleiden poisto (sort, uniq, cut)”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. DevOps-bootcamp-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Tietojen lajittelu ja kaksoiskappaleiden poisto (sort, uniq, cut)”?
Muunna raakateksti siisteiksi ja järjestetyiksi tiedoiksi. Opettele lajittelemaan rivejä, poistamaan kaksoiskappaleita uniq-komennolla ja poimimaan sarakkeita cut-komennolla sekä yhdistämään komennot… Harjoittelet DevOps-bootcamp-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni DevOps-bootcamp-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin DevOps-bootcamp-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 4/4.
Kuinka kauan ”Tietojen lajittelu ja kaksoiskappaleiden poisto (sort, uniq, cut)”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä DevOps-bootcamp-oppitunnilla?
Kyllä. Jokainen DevOps-bootcamp-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Edistynyt tekstinkäsittely (sed, awk)
- Arkistointi ja pakkaus (tar, gzip, unzip)
- Levynkäyttö ja järjestelmätiedot (df, du, uname)
- Tietojen lajittelu ja kaksoiskappaleiden poisto (sort, uniq, cut)