데이터 정렬 및 중복 제거 (sort, uniq, cut)

로그 파일과 CSV는 그저 텍스트 줄일 뿐입니다. 세 가지 대표 도구로 이를 다룰 수 있습니다. sort는 줄의 순서를 정하고, uniq는 중복을 제거하며, cut은 열을 추출합니다.

sort는 기본적으로 줄을 알파벳순으로 정렬하여 결과를 출력합니다.

일반 정렬은 숫자를 텍스트로 취급하므로 10이 2보다 먼저 옵니다. 실제 숫자 순서를 사용하려면 -n을 사용하고, 순서를 뒤집으려면 -r을 사용합니다.

-k를 사용하면 특정 열을 기준으로 정렬하고, -t를 사용하면 구분자를 지정할 수 있습니다.

uniq는 연속된 중복 줄을 하나로 합칩니다. 정렬된 입력에서만 제대로 작동하므로 거의 항상 sort와 함께 사용합니다.

uniq -c는 각 줄 앞에 해당 줄이 나타난 횟수를 붙입니다. 빈도 분석에 매우 적합합니다.

sort, uniq -c, 그리고 또 다른 sort를 조합하면 빈도순으로 항목의 순위를 매길 수 있습니다. 한 줄로 작성하는 "상위 N개" 보고서입니다.

cut은 각 줄에서 필드를 가져옵니다. 구분자에는 -d를 사용하고 필드 번호에는 -f를 사용합니다.

cut -c는 위치를 기준으로 문자 범위를 추출하며, 고정 너비 데이터에 유용합니다.

uniq -d는 반복되는 줄만 표시하고, uniq -u는 정확히 한 번만 나타나는 줄만 표시합니다.

진정한 강점은 명령을 연결하는 데 있습니다. 한 열을 추출하고 정렬한 다음 고유한 항목의 개수를 세면 한 명령으로 데이터 세트를 요약할 수 있습니다.

이해한 내용을 테스트해 보십시오.

sort(알파벳순, 숫자순 -n, 필드 기준 -k), uniq(연속된 줄 중복 제거, -c 개수 세기, -d/-u), cut(-d/-f로 필드, -c로 문자)를 사용해 데이터를 다루는 방법을 배웠습니다. 이러한 명령을 연결하면 강력한 파이프라인을 만들 수 있습니다.