डेटा को क्रमबद्ध करना और डुप्लिकेट हटाना (sort, uniq, cut)

लॉग फ़ाइलें और CSV केवल पाठ की पंक्तियाँ होती हैं। इन्हें व्यवस्थित करने के तीन पारंपरिक उपकरण हैं: sort पंक्तियों को क्रम में लगाता है, uniq दोहराव हटाता है और cut स्तंभ निकालता है।

sort डिफ़ॉल्ट रूप से पंक्तियों को वर्णानुक्रम में लगाता है और परिणाम दिखाता है।

साधारण sort संख्याओं को पाठ मानता है (10, 2 से पहले आता है)। वास्तविक संख्यात्मक क्रम के लिए -n और क्रम उलटने के लिए -r का उपयोग करें।

किसी विशेष स्तंभ के आधार पर क्रमबद्ध करने के लिए -k और विभाजक तय करने के लिए -t का उपयोग करें।

uniq केवल लगातार आने वाली दोहराई गई पंक्तियों को एक में बदलता है। यह केवल क्रमबद्ध इनपुट पर सही काम करता है, इसलिए इसे लगभग हमेशा sort के साथ इस्तेमाल किया जाता है।

uniq -c हर पंक्ति के आगे उसके दिखाई देने की संख्या जोड़ता है — आवृत्ति विश्लेषण के लिए बहुत उपयोगी।

आवृत्ति के आधार पर वस्तुओं की रैंकिंग करने के लिए sort, uniq -c और एक अन्य sort को मिलाएँ — इससे एक ही पंक्ति में "शीर्ष N" रिपोर्ट बन जाती है।

cut हर पंक्ति से फ़ील्ड निकालता है। विभाजक के लिए -d और फ़ील्ड संख्याओं के लिए -f का उपयोग करें।

cut -c स्थान के आधार पर अक्षरों की सीमाएँ निकालता है, जो निश्चित-चौड़ाई वाले डेटा के लिए उपयोगी है।

uniq -d केवल उन पंक्तियों को दिखाता है जो दोहराई गई हों, जबकि uniq -u केवल उन पंक्तियों को दिखाता है जो ठीक एक बार आती हों।

असल शक्ति कमांडों को जोड़ने में है: एक स्तंभ निकालें, उसे क्रमबद्ध करें, फिर अद्वितीय मानों की गिनती करके एक ही कमांड में डेटा-समूह का सारांश बनाएँ।

आपने sort (वर्णानुक्रम, संख्यात्मक -n, फ़ील्ड के आधार पर -k), uniq (लगातार आने वाली पंक्तियों से दोहराव हटाना, -c से गिनती, -d/-u) और cut (-d/-f से फ़ील्ड, -c से अक्षर) द्वारा डेटा व्यवस्थित करना सीखा — और इन्हें शक्तिशाली पाइपलाइनों में जोड़ा।