awk Dizileri ve Gruplamayla Toplama

awk içinde ilişkilendirmeli dizi, anahtarların herhangi bir dize veya sayı olabildiği bir anahtar-değer deposudur. Çoğu dildeki indeksli dizilerin aksine awk dizileri arka planda karma tablolarıdır; bu da alan değerlerine göre verileri gruplamak ve toplamak için onları ideal kılar.

• Örtük olarak tanımlanır: yalnızca arr[key] = value atamasını yapmanız yeterlidir
• Anahtarlar varsayılan olarak dizelerdir (sayılar dönüştürülür)
• Boyut sınırı yoktur — awk diziyi gerektiğinde büyütür
• Tek geçişte toplamları ve sayımları hesaplamak, ayrıca gruplara göre özetler oluşturmak için idealdir

Bir anahtarı artırmadan önce başlatmanız gerekmez; awk ayarlanmamış bir anahtarı otomatik olarak sıfır veya boş dize olarak değerlendirir.

En yaygın toplama örüntüsü, bir alandaki her benzersiz değerin kaç kez göründüğünü saymaktır. Dizi anahtarı olarak $1 alanını (veya herhangi bir alanı) kullanın ve eşleşen her satırda bir sayaç artırın.

END bloğu, tüm girdiler tüketildikten sonra çalışır; biriken sonuçları yazdırmanız gereken yer burasıdır.

count[$1]++

İşlemden sonra count, $1 değerlerinin her biri için toplam satır sayısını içerir.

Sayma, toplamanın yalnızca bir biçimidir. Bir alandaki sayısal değerleri başka bir alana göre gruplandırarak toplamak için sayısal değeri, grup alanının anahtarı olduğu bir dizide biriktirin.

Örüntü şöyledir:

• Anahtar = gruplama alanı (örneğin kullanıcı adı için $1)
• Değer = sayısal alanın devam eden toplamı (örneğin baytlar için $2)

Bu işlem, tek bir awk geçişinde eksiksiz bir gruplara göre toplam hesaplar; sıralama veya ön işleme gerekmez.

awk, birden çok diziyi eş zamanlı olarak tutmanıza olanak tanır; böylece dosyanın tek bir taramasında her grup için sayıyı, toplamı ve dolayısıyla ortalamayı elde edebilirsiniz. Bu, işlem hattını iki kez çalıştırmaktan çok daha verimlidir.

• count[key]++ — oluşumları izler
• total[key] += $N — devam eden toplamı izler
• END içinde, grup başına ortalamayı bulmak için total[k] / count[k] işlemini yapın

Birden çok alanı bir ayırıcıyla birleştirerek bileşik anahtar oluşturabilirsiniz. Bu, özel bir söz dizimi olmadan iki boyutlu gruplama yapmanızı sağlar.

Verilerde bulunamayacak bir ayırıcı seçin (örneğin SUBSEP, yerleşik awk kayıt ayırıcısı \034 veya değişmez bir dikey çizgi |).

• Bileşik anahtar: arr[$1 SUBSEP $2] veya arr[$1"|"$2]
• Yazdırırken anahtarı yeniden bölün: split(key, parts, "|")

İlişkilendirmeli diziler, grup başına en küçük ve en büyük değerleri izlemeyi kolaylaştırır. Buradaki püf noktası, özel !(key in arr) koşulunu kullanarak yalnızca her anahtarın ilk ortaya çıkışında başlatma yapmaktır.

• !(key in min_arr), bir anahtar ilk kez görüldüğünde doğrudur
• Başlatmadan sonra standart küçüktür / büyüktür denetimiyle karşılaştırın ve üzerine yazın

Bu örüntü, en küçük değerinizi bozabilecek hatalı bir sıfır değerini önler.

Gerçek dünyadaki yaygın görevlerden biri, en sık görülen N değeri bulmaktır. awk sayma işlemini yapar; sıralamak ve sonuçları sınırlamak için sort ve head üzerinden yönlendirme yapın.

Bu işlem hattı örüntüsü, kabuk betiği mühendisliğinde deyimsel bir kullanımdır:

1. awk, oluşumları bir dizide sayar ve END içinde count key yazdırır
2. sort -rn, sayısal olarak azalan düzende sıralar
3. head -n 5, yalnızca en üstteki 5 sonucu tutar

awk'ı toplamaya odaklamak ve sıralamayı sort'a devretmek Unix felsefesini izler.

Birden çok dosya işlenirken awk'ın yerleşik NR (okunan toplam kayıt sayısı) ve FNR (geçerli dosyadaki kayıt sayısı) değerleri, her kaydın hangi dosyadan geldiğini FILENAME kullanarak etiketlemenizi sağlar.

• FILENAME — o anda okunan dosyanın adı
• FNR == 1 — her yeni dosyanın başlangıcında tetiklenir (üst bilgileri atlamak için kullanışlıdır)

Bu sayede tek bir awk çağrısıyla bir günlük dizininin tamamında dosya başına gruplara göre toplama yapabilirsiniz.

awk içindeki for (key in array) döngüsü sıralamayı garanti etmez. Belirli bir çıktı elde etmek için awk'ın END içindeki yazdırma çıktısını sort'a yönlendirin veya değerleri toplayıp yalnızca GNU awk'ta bulunan asorti / asort işlevleriyle awk içinde sıralayın.

Taşınabilir kabuk işlem hattı yaklaşımı, platformlar arası betikler için genellikle tercih edilir:

• sort -k1,1 — ilk alana (grup anahtarına) göre alfabetik sıralar
• sort -k2,2rn — ikinci alana (sayıma/toplama) göre sayısal olarak azalan düzende sıralar

Bazen akışın ortasında toplama durumunu sıfırlamanız gerekir; örneğin günlük dosyalarını işlerken her bölüm boş bir satırla veya bir belirteç değeriyle ayrılıyorsa.

• delete arr[key] — tek bir girdiyi kaldırır
• delete arr — dizinin tamamını temizler (GNU awk)
• Hayali girdiler oluşturmaktan kaçınmak için erişmeden önce (key in arr) ile varlığını denetleyin

Bu teknik, awk'ı yeniden başlatmadan kayan pencere veya bölüm başına toplama yapmanızı sağlar.

Tümünü bir araya getirelim: burada Nginx birleşik günlük biçimi üzerinde üretim kalitesinde, tek geçişli bir awk toplaması yer alıyor. Bu işlem, tek bir taramada sanal ana bilgisayar başına istek sayısını, toplam bayt sayısını ve hata oranını hesaplar.

Kullanılan temel teknikler:

• Bileşik anahtar: bir alandan çıkarılan vhost
• Paralel diziler: reqs[], bytes[], errors[]
• Koşullu biriktirme: yalnızca hata yanıtlarını saymak için $9 >= 400
• END içinde biçimlendirilmiş printf tablosu

Yaygın bir awk toplama tuzağını anlayıp anlamadığınızı test edin.

Gruplara göre toplamaları tamamen awk içinde hesaplamak için gereken temel örüntüleri öğrendiniz:

• Sayma: count[$key]++ — her satırda artırın, END içinde yazdırın
• Toplama: total[$key] += $N — sayısal alanları grup başına biriktirin
• Ortalama: hem count[] hem de total[] değerlerini tutun, END içinde bölme yapın
• En küçük/En büyük: !(key in arr) kullanarak ilk oluşumda başlatın, ardından karşılaştırın
• Bileşik anahtarlar: çok boyutlu gruplama için alanları bir ayırıcıyla birleştirin
• Sıralı çıktı: belirli bir sıralama elde etmek için awk'ın END içindeki yazdırma çıktısını sort'a yönlendirin
• Bölüm sıfırlamaları: girdinin mantıksal bölümleri arasındaki durumu temizlemek için delete arr kullanın

Bu örüntüler, ağır veritabanı sorgularını veya birden çok işlem hattı geçişini tek ve verimli bir awk çağrısıyla değiştirmenizi sağlar; bu, üretim amaçlı kabuk betiği mühendisliği için temel bir beceridir.