Sortera och ta bort dubbletter i data (sort, uniq, cut)

Loggfiler och CSV-filer är bara textrader. Tre klassiska verktyg bearbetar dem: sort ordnar rader, uniq tar bort dubbletter och cut extraherar kolumner.

sort ordnar rader alfabetiskt som standard och skriver ut resultatet.

Vanlig sortering behandlar tal som text (10 före 2). Använd -n för äkta numerisk ordning och -r för omvänd ordning.

Använd -k för att sortera efter en viss kolumn och -t för att ange avgränsaren.

uniq slår ihop intilliggande identiska rader. Det fungerar bara med sorterad indata, så det kombineras nästan alltid med sort.

uniq -c lägger till antalet förekomster före varje rad – perfekt för frekvensanalys.

Kombinera sort, uniq -c och ytterligare ett sort för att rangordna objekt efter frekvens – en rapport över de "N främsta" på en rad.

cut hämtar fält från varje rad. Använd -d för avgränsaren och -f för fältnumren.

cut -c extraherar teckenintervall efter position, vilket är användbart för data med fast bredd.

uniq -d visar endast rader som upprepas, medan uniq -u visar endast rader som förekommer exakt en gång.

Den verkliga styrkan ligger i att kedja kommandon: extrahera en kolumn, sortera den och räkna sedan unika värden för att sammanfatta ett dataset med ett enda kommando.

Ni har lärt er att forma data med sort (alfabetiskt, numeriskt med -n, efter fält med -k), uniq (ta bort intilliggande dubbletter, räkna med -c, -d/-u) och cut (fält med -d/-f, tecken med -c) – kombinerade i kraftfulla pipelines.