Ordenación y eliminación de duplicados (sort, uniq, cut)

Los archivos de registro y los CSV son simplemente líneas de texto. Tres herramientas clásicas permiten darles forma: sort ordena las líneas, uniq elimina duplicados y cut extrae columnas.

sort ordena las líneas alfabéticamente de forma predeterminada y muestra el resultado.

La ordenación normal trata los números como texto (10 aparece antes que 2). Use -n para obtener un orden numérico real y -r para invertirlo.

Use -k para ordenar por una columna específica y -t para establecer el delimitador.

uniq agrupa las líneas duplicadas adyacentes. Solo funciona con entradas ordenadas, por lo que casi siempre se combina con sort.

uniq -c antepone a cada línea cuántas veces apareció; es perfecto para analizar frecuencias.

Combine sort, uniq -c y otro sort para clasificar los elementos por frecuencia: un informe de "top N" en una sola línea.

cut extrae campos de cada línea. Use -d para el delimitador y -f para los números de campo.

cut -c extrae intervalos de caracteres por posición, lo que resulta útil para datos de ancho fijo.

uniq -d muestra solo las líneas que se repiten, mientras que uniq -u muestra solo las líneas que aparecen exactamente una vez.

La verdadera potencia está en encadenar comandos: extraiga una columna, ordénela y después cuente los valores únicos para resumir un conjunto de datos con un solo comando.

Compruebe su comprensión.

Ha aprendido a dar forma a los datos con sort (alfabético, numérico con -n, por campo con -k), uniq (eliminar duplicados adyacentes, contar con -c, -d/-u) y cut (campos con -d/-f, caracteres con -c), encadenados en potentes canalizaciones.