Сортировка и удаление дубликатов в данных (sort, uniq, cut)

Файлы журналов и CSV — это просто строки текста. Три классических инструмента работают с ними так: sort упорядочивает строки, uniq удаляет дубликаты, а cut извлекает столбцы.

sort по умолчанию упорядочивает строки по алфавиту и выводит результат.

Обычная сортировка воспринимает числа как текст (10 идёт перед 2). Используйте -n для настоящего числового порядка, а -r — для обратного порядка.

Используйте -k, чтобы сортировать по определённому столбцу, и -t, чтобы задать разделитель.

uniq объединяет соседние одинаковые строки. Он работает только с отсортированными входными данными, поэтому почти всегда используется вместе с sort.

uniq -c добавляет к началу каждой строки количество её появлений — это идеально подходит для анализа частот.

Объедините sort, uniq -c и ещё один sort, чтобы ранжировать элементы по частоте — получится однострочный отчёт «топ N».

cut извлекает поля из каждой строки. Используйте -d для разделителя и -f для номеров полей.

cut -c извлекает диапазоны символов по позициям; это удобно для данных фиксированной ширины.

uniq -d показывает только повторяющиеся строки, а uniq -u — только строки, встречающиеся ровно один раз.

Настоящая сила заключается в объединении команд: извлеките столбец, отсортируйте его, а затем подсчитайте уникальные значения, чтобы одной командой обобщить набор данных.

Проверьте своё понимание.

Вы научились обрабатывать данные с помощью sort (по алфавиту, числовая сортировка -n, по полю -k), uniq (удаление соседних повторов, подсчёт -c, -d/-u) и cut (поля с -d/-f, символы с -c) — объединяя их в мощные конвейеры.