Sortering og deduplisering av data (sort, uniq, cut)

Vanlig sortering behandler tall som tekst (10 kommer før 2). Bruk -n for ekte numerisk rekkefølge og -r for å snu rekkefølgen.

Bruk -k for å sortere etter en bestemt kolonne og -t for å angi skilletegnet.

uniq slår sammen tilstøtende dupliserte linjer. Det fungerer bare med sorterte inndata, så det brukes nesten alltid sammen med sort.

uniq -c setter antallet forekomster foran hver linje – perfekt for frekvensanalyse.

Kombiner sort, uniq -c og en ny sortering for å rangere elementer etter frekvens – en rapport over de «øverste N» på én linje.

cut henter felt fra hver linje. Bruk -d for skilletegnet og -f for feltnumrene.

cut -c trekker ut tegnintervaller etter posisjon, noe som er nyttig for data med fast bredde.

uniq -d viser bare linjer som gjentas, mens uniq -u bare viser linjer som forekommer nøyaktig én gang.

Den virkelige styrken ligger i å kjede kommandoer: Trekk ut en kolonne, sorter den, og tell deretter unike verdier for å oppsummere et datasett med én kommando.

Du har lært å bearbeide data med sort (alfabetisk, numerisk med -n, etter felt med -k), uniq (fjerne tilstøtende duplikater, telle med -c, -d/-u) og cut (felt med -d/-f, tegn med -c) – satt sammen til kraftige pipelines.