Gegevens sorteren en ontdubbelen (sort, uniq, cut)

Logbestanden en CSV-bestanden zijn slechts regels tekst. Drie klassieke hulpmiddelen geven ze vorm: sort ordent regels, uniq verwijdert duplicaten en cut haalt kolommen eruit.

sort ordent regels standaard alfabetisch en drukt het resultaat af.

Een gewone sorteerbewerking behandelt getallen als tekst (10 vóór 2). Gebruik -n voor een echte numerieke volgorde en -r om de volgorde om te keren.

Gebruik -k om op een specifieke kolom te sorteren en -t om het scheidingsteken in te stellen.

uniq voegt aangrenzende dubbele regels samen. Het werkt alleen op gesorteerde invoer en wordt daarom bijna altijd gecombineerd met sort.

uniq -c zet voor elke regel het aantal voorkomens ervoor — ideaal voor frequentieanalyse.

Combineer sort, uniq -c en nog een sorteerbewerking om items op frequentie te rangschikken — een rapport met de "top N" in één regel.

cut haalt velden uit elke regel. Gebruik -d voor het scheidingsteken en -f voor de veldnummers.

cut -c haalt tekenbereiken op basis van hun positie eruit; dit is nuttig voor gegevens met een vaste breedte.

uniq -d toont alleen regels die worden herhaald, terwijl uniq -u alleen regels toont die precies één keer voorkomen.

De echte kracht zit in het koppelen: haal een kolom eruit, sorteer deze en tel vervolgens de unieke waarden om een gegevensset met één opdracht samen te vatten.

U hebt geleerd gegevens vorm te geven met sort (alfabetisch, numeriek met -n, op veld met -k), uniq (aangrenzende regels ontdubbelen, -c tellen, -d/-u) en cut (velden met -d/-f, tekens met -c) — gekoppeld in krachtige pijplijnen.