Ordinamento e deduplicazione dei dati (sort, uniq, cut)

I file di log e i CSV sono semplicemente righe di testo. Tre strumenti classici consentono di elaborarli: sort ordina le righe, uniq rimuove i duplicati e cut estrae le colonne.

sort ordina le righe alfabeticamente per impostazione predefinita e stampa il risultato.

Il sort semplice tratta i numeri come testo (10 prima di 2). Utilizzare -n per un vero ordinamento numerico e -r per invertirlo.

Utilizzare -k per ordinare in base a una colonna specifica e -t per impostare il delimitatore.

uniq raggruppa le righe duplicate adiacenti. Funziona solo su input ordinato, quindi viene quasi sempre usato insieme a sort.

uniq -c antepone a ogni riga il numero di volte in cui è comparsa: è perfetto per l'analisi delle frequenze.

Combinare sort, uniq -c e un altro sort per classificare gli elementi in base alla frequenza: un report "top N" in una sola riga.

cut estrae i campi da ogni riga. Utilizzare -d per il delimitatore e -f per i numeri dei campi.

cut -c estrae intervalli di caratteri in base alla posizione, utile per dati a larghezza fissa.

uniq -d mostra solo le righe ripetute, mentre uniq -u mostra solo quelle che compaiono esattamente una volta.

La vera potenza sta nel concatenare i comandi: estrarre una colonna, ordinarla e poi contare i valori univoci per riepilogare un dataset con un solo comando.

Ha imparato a elaborare i dati con sort (alfabetico, numerico -n, per campo -k), uniq (rimozione delle righe adiacenti duplicate, conteggio con -c, -d/-u) e cut (campi con -d/-f, caratteri con -c), concatenati in potenti pipeline.