Trier et dédupliquer les données (sort, uniq, cut)

Les fichiers journaux et les fichiers CSV ne sont que des lignes de texte. Trois outils classiques permettent de les traiter : sort ordonne les lignes, uniq supprime les doublons et cut extrait les colonnes.

sort classe les lignes par ordre alphabétique par défaut et affiche le résultat.

Le tri simple traite les nombres comme du texte (10 avant 2). Utilisez -n pour un véritable ordre numérique et -r pour inverser l’ordre.

Utilisez -k pour trier selon une colonne précise et -t pour définir le séparateur.

uniq regroupe les lignes en double adjacentes. Il ne fonctionne que sur des données d’entrée triées ; il est donc presque toujours associé à sort.

uniq -c préfixe chaque ligne par le nombre de fois où elle est apparue — idéal pour analyser les fréquences.

Combinez sort, uniq -c et un autre sort pour classer les éléments par fréquence — un rapport « top N » en une seule ligne.

cut extrait les champs de chaque ligne. Utilisez -d pour le séparateur et -f pour les numéros de champ.

cut -c extrait des plages de caractères selon leur position, ce qui est utile pour les données à largeur fixe.

uniq -d affiche uniquement les lignes répétées, tandis que uniq -u affiche uniquement celles qui apparaissent exactement une fois.

La véritable puissance vient de l’enchaînement : extraire une colonne, la trier, puis compter les valeurs uniques pour résumer un jeu de données avec une seule commande.

Vérifiez votre compréhension.

Vous avez appris à traiter les données avec sort (alphabétique, numérique avec -n, par champ avec -k), uniq (déduplication des lignes adjacentes, comptage avec -c, -d/-u) et cut (champs avec -d/-f, caractères avec -c) — puis à les enchaîner dans de puissants pipelines.