Daten sortieren und Duplikate entfernen (sort, uniq, cut)
Verwandeln Sie Rohtext in saubere, geordnete Daten. Lernen Sie, Zeilen zu sortieren, mit uniq Duplikate zu entfernen und mit cut Spalten zu extrahieren und anschließend alles in Pipelines zu verketten.
Daten sortieren und Duplikate entfernen (sort, uniq, cut) ist eine kostenlose Linux Command Line & Bash Scripting Mastery-Lektion auf CoddyKit. Dies ist Lektion 4 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des Linux Command Line & Bash Scripting Mastery-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der Linux Command Line & Bash Scripting Mastery-Kurs umfasst insgesamt 4 Lektionen.
Textdaten aufbereiten
Protokolldateien und CSV-Dateien bestehen lediglich aus Textzeilen. Drei klassische Werkzeuge bereiten sie auf: sort ordnet Zeilen, uniq entfernt Duplikate und cut extrahiert Spalten.
Einfaches Sortieren
sort ordnet Zeilen standardmäßig alphabetisch und gibt das Ergebnis aus.
sort names.txtNumerisches Sortieren
Das einfache Sortieren behandelt Zahlen als Text (10 steht vor 2). Verwenden Sie -n für eine echte numerische Sortierung und -r zum Umkehren der Reihenfolge.
sort -n sizes.txt
sort -nr sizes.txt # largest firstNach einem Feld sortieren
Verwenden Sie -k, um nach einer bestimmten Spalte zu sortieren, und -t, um das Trennzeichen festzulegen.
sort -t: -k3 -n /etc/passwd # by UIDDuplikate mit uniq entfernen
uniq fasst aufeinanderfolgende doppelte Zeilen zusammen. Es funktioniert nur mit sortierten Eingaben und wird daher fast immer zusammen mit sort verwendet.
sort access.log | uniqVorkommen zählen
uniq -c stellt jeder Zeile voran, wie oft sie vorkam – ideal für Häufigkeitsanalysen.
sort ips.txt | uniq -cDie häufigsten Einträge finden
Kombinieren Sie sort, uniq -c und ein weiteres sort, um Einträge nach ihrer Häufigkeit zu ordnen – ein einzeiliger „Top-N“-Bericht.
sort ips.txt | uniq -c | sort -nr | head -5Spalten mit cut extrahieren
cut extrahiert Felder aus jeder Zeile. Verwenden Sie -d für das Trennzeichen und -f für die Feldnummern.
cut -d, -f1,3 data.csv # 1st and 3rd columnsNach Zeichen schneiden
cut -c extrahiert Zeichenbereiche anhand ihrer Position – nützlich für Daten mit fester Breite.
cut -c1-8 dates.txt # first 8 charsEindeutige und doppelte Zeilen
uniq -d zeigt nur Zeilen an, die mehrfach vorkommen, während uniq -u nur Zeilen anzeigt, die genau einmal vorkommen.
sort orders.txt | uniq -d # repeated onlyEine Pipeline erstellen
Die eigentliche Stärke liegt in der Verkettung: Extrahieren Sie eine Spalte, sortieren Sie sie und zählen Sie anschließend die eindeutigen Werte, um einen Datensatz mit einem einzigen Befehl zusammenzufassen.
cut -d, -f2 sales.csv | sort | uniq -c | sort -nrKurzer Test
Testen Sie Ihr Verständnis.
Zusammenfassung
Sie haben gelernt, Daten mit sort aufzubereiten (alphabetisch, numerisch mit -n, nach Feld mit -k), mit uniq (aufeinanderfolgende Zeilen deduplizieren, mit -c zählen, -d/-u) und mit cut (Felder mit -d/-f, Zeichen mit -c) – verkettet zu leistungsfähigen Pipelines.
Häufig gestellte Fragen
Ist die Lektion „Daten sortieren und Duplikate entfernen (sort, uniq, cut)“ kostenlos?
Ja — der vollständige Text von „Daten sortieren und Duplikate entfernen (sort, uniq, cut)“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des Linux Command Line & Bash Scripting Mastery-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der Linux Command Line & Bash Scripting Mastery-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Daten sortieren und Duplikate entfernen (sort, uniq, cut)“?
Verwandeln Sie Rohtext in saubere, geordnete Daten. Lernen Sie, Zeilen zu sortieren, mit uniq Duplikate zu entfernen und mit cut Spalten zu extrahieren und anschließend alles in Pipelines zu verkette… Du übst Linux Command Line & Bash Scripting Mastery mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um Linux Command Line & Bash Scripting Mastery zu starten?
Keine Vorkenntnisse erforderlich. Linux Command Line & Bash Scripting Mastery auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 4 von 4.
Wie lange dauert die Lektion „Daten sortieren und Duplikate entfernen (sort, uniq, cut)“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser Linux Command Line & Bash Scripting Mastery-Lektion Code schreiben und ausführen?
Ja. Jede Linux Command Line & Bash Scripting Mastery-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Fortgeschrittene Textverarbeitung (sed, awk)
- Archivierung und Komprimierung (tar, gzip, unzip)
- Festplattennutzung und Systeminformationen (df, du, uname)
- Daten sortieren und Duplikate entfernen (sort, uniq, cut)