Agregasi dengan Array dan Pengelompokan awk

Dalam awk, array asosiatif adalah penyimpanan pasangan kunci-nilai, dengan kunci yang dapat berupa string atau angka apa pun. Berbeda dari array berindeks dalam kebanyakan bahasa, array awk pada dasarnya adalah peta hash—sempurna untuk mengelompokkan dan mengagregasikan data berdasarkan nilai field.

• Dideklarasikan secara implisit: cukup lakukan penetapan arr[key] = value
• Kunci secara bawaan berupa string (angka dikonversi)
• Tidak ada batas ukuran—awk memperbesar array sesuai kebutuhan
• Ideal untuk menghitung jumlah, banyaknya kemunculan, dan rekap per kelompok dalam satu lintasan

Anda tidak perlu menginisialisasi kunci sebelum menaikkan nilainya—awk otomatis memperlakukan kunci yang belum disetel sebagai nol atau string kosong.

Pola agregasi yang paling umum adalah menghitung berapa kali setiap nilai unik dalam sebuah field muncul. Gunakan field $1 (atau field apa pun) sebagai kunci array, lalu naikkan penghitung pada setiap baris yang cocok.

Blok END dijalankan setelah semua input dikonsumsi—di situlah Anda mencetak hasil yang telah dikumpulkan.

count[$1]++

Setelah pemrosesan selesai, count menyimpan jumlah total baris untuk setiap nilai unik dari $1.

Menghitung hanyalah salah satu bentuk agregasi. Untuk menjumlahkan field numerik yang dikelompokkan berdasarkan field lain, akumulasikan nilai numerik ke dalam array yang kuncinya berasal dari field kelompok.

Polanya adalah:

• Kunci = field pengelompokan (misalnya, $1 untuk nama pengguna)
• Nilai = total berjalan dari field numerik (misalnya, $2 untuk byte)

Ini menghitung jumlah lengkap per kelompok dalam satu lintasan awk—tanpa memerlukan pengurutan atau prapemrosesan.

awk memungkinkan Anda mempertahankan beberapa array secara bersamaan, sehingga Anda memperoleh hitungan dan jumlah (dan karenanya rata-rata) untuk setiap kelompok dalam satu pemindaian file. Ini jauh lebih efisien daripada menjalankan pipeline dua kali.

• count[key]++—melacak kemunculan
• total[key] += $N—melacak jumlah berjalan
• Dalam END, bagi total[k] / count[k] untuk mendapatkan rata-rata per kelompok

Anda dapat membuat kunci gabungan dengan menggabungkan beberapa field menggunakan pemisah. Dengan begitu, Anda memperoleh pengelompokan dua dimensi tanpa sintaks khusus.

Pilih pemisah yang tidak mungkin muncul dalam data (misalnya, SUBSEP, pemisah record bawaan awk \034, atau karakter pipa literal |).

• Kunci gabungan: arr[$1 SUBSEP $2] atau arr[$1"|"$2]
• Pecah kembali kunci saat mencetak: split(key, parts, "|")

Array asosiatif memudahkan pelacakan nilai min dan max per kelompok. Triknya adalah melakukan inisialisasi hanya pada kemunculan pertama setiap kunci menggunakan kondisi khusus !(key in arr).

• !(key in min_arr) bernilai true saat pertama kali sebuah kunci ditemukan
• Setelah inisialisasi, bandingkan dan timpa menggunakan pemeriksaan standar kurang-dari / lebih-dari

Pola ini menghindari nilai nol semu yang dapat merusak nilai minimum Anda.

Tugas yang umum di dunia nyata adalah menemukan nilai yang paling sering muncul sejumlah N teratas. awk menangani penghitungan; teruskan melalui sort dan head untuk memberi peringkat dan mengambil sebagian hasil.

Pola pipeline ini merupakan praktik idiomatis dalam rekayasa shell:

1. awk menghitung kemunculan ke dalam array, lalu mencetak count key dalam END
2. sort -rn mengurutkan secara numerik dalam urutan menurun
3. head -n 5 hanya mempertahankan 5 teratas

Membiarkan awk berfokus pada agregasi dan menyerahkan pengurutan kepada sort mengikuti filosofi Unix.

Saat memproses banyak file, NR (total record yang telah dibaca) dan FNR (record dalam file saat ini) yang merupakan bawaan awk memungkinkan Anda menandai dari file mana setiap record berasal menggunakan FILENAME.

• FILENAME—nama file yang sedang dibaca
• FNR == 1—terpicu di awal setiap file baru (berguna untuk melewati header)

Dengan demikian, Anda dapat melakukan agregasi per file dan per kelompok di seluruh direktori berisi log dalam satu pemanggilan awk.

Perulangan for (key in array) dalam awk tidak menjamin urutan. Untuk output deterministik, teruskan hasil cetak END awk ke sort, atau kumpulkan nilai dan urutkan di dalam awk menggunakan fungsi asorti / asort (hanya GNU awk).

Pendekatan pipeline shell yang portabel biasanya lebih disukai untuk skrip lintas platform:

• sort -k1,1—mengurutkan berdasarkan field pertama (kunci kelompok) secara alfabetis
• sort -k2,2rn—mengurutkan berdasarkan field kedua (hitungan/jumlah) secara numerik menurun

Terkadang Anda perlu mengatur ulang status agregasi di tengah aliran—misalnya saat memproses file log yang setiap bagiannya dipisahkan oleh baris kosong atau nilai penanda.

• delete arr[key]—menghapus satu entri
• delete arr—mengosongkan seluruh array (GNU awk)
• Periksa keberadaan dengan (key in arr) sebelum mengaksesnya untuk menghindari pembuatan entri bayangan

Teknik ini memungkinkan agregasi jendela geser atau per bagian tanpa memulai ulang awk.

Menggabungkan semuanya—berikut agregasi satu lintasan awk siap produksi atas format log gabungan Nginx. Agregasi ini menghitung jumlah permintaan, total byte, dan tingkat kesalahan per host virtual dalam satu pemindaian.

Teknik utama yang digunakan:

• Kunci gabungan: vhost yang diekstrak dari sebuah field
• Array paralel: reqs[], bytes[], errors[]
• Akumulasi bersyarat: $9 >= 400 untuk menghitung hanya respons yang mengalami kesalahan
• Tabel printf berformat dalam END

Uji pemahaman Anda tentang kesalahan umum dalam agregasi awk.

Anda telah mempelajari pola inti untuk menghitung agregasi per kelompok sepenuhnya di dalam awk:

• Menghitung: count[$key]++—naikkan pada setiap baris, cetak dalam END
• Menjumlahkan: total[$key] += $N—akumulasikan field numerik per kelompok
• Rata-rata: pertahankan count[] dan total[], lalu bagi dalam END
• Min/Max: isi pada kemunculan pertama menggunakan !(key in arr), lalu bandingkan
• Kunci gabungan: gabungkan field dengan pemisah untuk pengelompokan multidimensi
• Output terurut: teruskan hasil cetak END awk ke sort untuk urutan yang deterministik
• Pengaturan ulang bagian: gunakan delete arr untuk mengosongkan status di antara bagian-bagian logis input

Pola-pola ini memungkinkan Anda menggantikan kueri basis data yang berat atau beberapa lintasan pipeline dengan satu pemanggilan awk yang efisien—keterampilan penting dalam rekayasa shell untuk produksi.