Ordenação e Deduplicação de Dados (sort, uniq, cut)

Arquivos de registro e CSVs são apenas linhas de texto. Três ferramentas clássicas os transformam: sort ordena as linhas, uniq remove duplicatas e cut extrai colunas.

sort ordena as linhas alfabeticamente por padrão e exibe o resultado.

A ordenação simples trata os números como texto (10 antes de 2). Use -n para obter uma ordem numérica verdadeira e -r para invertê-la.

Use -k para ordenar por uma coluna específica e -t para definir o delimitador.

uniq agrupa linhas duplicadas adjacentes. Ele só funciona com entrada ordenada, por isso quase sempre é combinado com sort.

uniq -c acrescenta no início de cada linha quantas vezes ela apareceu — perfeito para análise de frequência.

Combine sort, uniq -c e outro sort para classificar os itens por frequência — um relatório "top N" em uma única linha.

cut extrai campos de cada linha. Use -d para o delimitador e -f para os números dos campos.

cut -c extrai intervalos de caracteres por posição, o que é útil para dados de largura fixa.

uniq -d mostra apenas as linhas que se repetem, enquanto uniq -u mostra apenas as linhas que aparecem exatamente uma vez.

O verdadeiro poder está em encadear operações: extraia uma coluna, ordene-a e depois conte os valores únicos para resumir um conjunto de dados em um único comando.

Teste sua compreensão.

Você aprendeu a transformar dados com sort (alfabético, numérico com -n, por campo com -k), uniq (remove duplicatas de linhas adjacentes, -c conta, -d/-u) e cut (campos com -d/-f, caracteres com -c) — encadeados em pipelines poderosos.