Daten sortieren und Duplikate entfernen (sort, uniq, cut)

Protokolldateien und CSV-Dateien bestehen lediglich aus Textzeilen. Drei klassische Werkzeuge bereiten sie auf: sort ordnet Zeilen, uniq entfernt Duplikate und cut extrahiert Spalten.

sort ordnet Zeilen standardmäßig alphabetisch und gibt das Ergebnis aus.

Das einfache Sortieren behandelt Zahlen als Text (10 steht vor 2). Verwenden Sie -n für eine echte numerische Sortierung und -r zum Umkehren der Reihenfolge.

Verwenden Sie -k, um nach einer bestimmten Spalte zu sortieren, und -t, um das Trennzeichen festzulegen.

uniq fasst aufeinanderfolgende doppelte Zeilen zusammen. Es funktioniert nur mit sortierten Eingaben und wird daher fast immer zusammen mit sort verwendet.

uniq -c stellt jeder Zeile voran, wie oft sie vorkam – ideal für Häufigkeitsanalysen.

Kombinieren Sie sort, uniq -c und ein weiteres sort, um Einträge nach ihrer Häufigkeit zu ordnen – ein einzeiliger „Top-N“-Bericht.

cut extrahiert Felder aus jeder Zeile. Verwenden Sie -d für das Trennzeichen und -f für die Feldnummern.

cut -c extrahiert Zeichenbereiche anhand ihrer Position – nützlich für Daten mit fester Breite.

uniq -d zeigt nur Zeilen an, die mehrfach vorkommen, während uniq -u nur Zeilen anzeigt, die genau einmal vorkommen.

Die eigentliche Stärke liegt in der Verkettung: Extrahieren Sie eine Spalte, sortieren Sie sie und zählen Sie anschließend die eindeutigen Werte, um einen Datensatz mit einem einzigen Befehl zusammenzufassen.

Testen Sie Ihr Verständnis.

Sie haben gelernt, Daten mit sort aufzubereiten (alphabetisch, numerisch mit -n, nach Feld mit -k), mit uniq (aufeinanderfolgende Zeilen deduplizieren, mit -c zählen, -d/-u) und mit cut (Felder mit -d/-f, Zeichen mit -c) – verkettet zu leistungsfähigen Pipelines.