Agregowanie za pomocą tablic i grupowania w awk

W awk tablica asocjacyjna to struktura przechowująca pary klucz-wartość, w której kluczami mogą być dowolne ciągi znaków lub liczby. W przeciwieństwie do tablic indeksowanych używanych w większości języków, tablice awk są wewnętrznie mapami haszującymi — doskonale nadają się do grupowania i agregowania danych według wartości pól.

• Deklarowanie niejawne: wystarczy przypisać arr[key] = value
• Klucze są domyślnie ciągami znaków (liczby są konwertowane)
• Brak limitu rozmiaru — awk powiększa tablicę w miarę potrzeb
• Idealne do obliczania sum, liczności i podsumowań według grup w jednym przejściu

Nie trzeba inicjalizować klucza przed jego zwiększeniem — awk automatycznie traktuje nieustawiony klucz jako zero lub pusty ciąg znaków.

Najczęściej stosowany wzorzec agregacji polega na zliczaniu, ile razy każda unikatowa wartość pola występuje w danych. Użyj pola $1 (lub dowolnego innego pola) jako klucza tablicy i zwiększaj licznik przy każdym pasującym wierszu.

Blok END jest wykonywany po odczytaniu całego wejścia — to w nim należy wypisać zgromadzone wyniki.

count[$1]++

Po przetworzeniu tablica count zawiera całkowitą liczbę wierszy dla każdej unikatowej wartości $1.

Zliczanie to tylko jedna z form agregacji. Aby sumować pole liczbowe pogrupowane według innego pola, dodawaj wartość liczbową do tablicy, której kluczem jest pole grupowania.

Wzorzec wygląda następująco:

• Klucz = pole używane do grupowania (np. $1 jako nazwa użytkownika)
• Wartość = bieżąca suma pola liczbowego (np. $2 jako liczba bajtów)

W jednym przejściu awk obliczana jest pełna suma dla każdej grupy — sortowanie ani wstępne przetwarzanie nie są wymagane.

awk pozwala jednocześnie utrzymywać wiele tablic, dzięki czemu w jednym przebiegu pliku można obliczyć dla każdej grupy liczność i sumę, a tym samym także średnią. Jest to znacznie wydajniejsze niż dwukrotne uruchamianie potoku.

• count[key]++ — śledzi liczbę wystąpień
• total[key] += $N — śledzi bieżącą sumę
• W END podziel total[k] / count[k], aby obliczyć średnią dla danej grupy

Możesz utworzyć klucz złożony, łącząc wiele pól separatorem. Pozwala to przeprowadzić dwuwymiarowe grupowanie bez używania specjalnej składni.

Wybierz separator, który nie może wystąpić w danych (np. SUBSEP, wbudowany separator rekordów awk \034 lub dosłowny znak potoku |).

• Klucz złożony: arr[$1 SUBSEP $2] lub arr[$1"|"$2]
• Rozdzielenie klucza podczas wypisywania: split(key, parts, "|")

Tablice asocjacyjne ułatwiają śledzenie wartości min i max dla poszczególnych grup. Sztuczka polega na inicjalizacji tylko przy pierwszym wystąpieniu każdego klucza za pomocą specjalnego warunku !(key in arr).

• !(key in min_arr) ma wartość true przy pierwszym napotkaniu klucza
• Po inicjalizacji porównuj wartości i zastępuj je za pomocą standardowego sprawdzenia mniejszości / większości

Ten wzorzec zapobiega pojawieniu się pozornego zera, które zafałszowałoby minimum.

Częstym zadaniem w praktyce jest znalezienie Top-N najczęściej występujących wartości. awk zajmuje się zliczaniem, a potoki sort i head służą do uszeregowania i ograniczenia wyników.

Ten wzorzec potoku jest idiomatyczny w pracy z powłoką:

1. awk zlicza wystąpienia w tablicy, a w END wypisuje count key
2. sort -rn sortuje liczbowo malejąco
3. head -n 5 pozostawia tylko 5 najwyższych wyników

Skupienie awk na agregacji i przekazanie sortowania do sort jest zgodne z filozofią Uniksa.

Podczas przetwarzania wielu plików wbudowane zmienne awk NR (łączna liczba odczytanych rekordów) i FNR (liczba rekordów w bieżącym pliku) pozwalają, za pomocą FILENAME, oznaczyć plik, z którego pochodzi każdy rekord.

• FILENAME — nazwa aktualnie odczytywanego pliku
• FNR == 1 — jest spełnione na początku każdego nowego pliku (przydatne do pomijania nagłówków)

Pozwala to przeprowadzać agregację według grup dla poszczególnych plików w całym katalogu dzienników za pomocą jednego wywołania awk.

Pętla for (key in array) w awk nie gwarantuje kolejności. Aby uzyskać deterministyczne wyniki, przekaż dane wypisywane w bloku END do sort albo zbierz wartości i posortuj je w awk za pomocą funkcji asorti / asort (tylko GNU awk).

Przenośne podejście oparte na potoku powłoki jest zwykle preferowane w skryptach wieloplatformowych:

• sort -k1,1 — sortowanie alfabetyczne według pierwszego pola (klucza grupy)
• sort -k2,2rn — sortowanie według drugiego pola (liczności/sumy), liczbowo malejąco

Czasami trzeba zresetować stan agregacji w trakcie przetwarzania — na przykład podczas przetwarzania plików dzienników, w których poszczególne sekcje są oddzielone pustym wierszem lub wartością sygnalizującą.

• delete arr[key] — usuwa pojedynczy wpis
• delete arr — czyści całą tablicę (GNU awk)
• Sprawdzaj istnienie za pomocą (key in arr) przed uzyskaniem dostępu, aby uniknąć tworzenia pozornych wpisów

Technika ta umożliwia agregację w przesuwanym oknie lub według sekcji bez ponownego uruchamiania awk.

Połączmy wszystkie elementy — oto gotowa do użycia produkcyjnie, jednoprzebiegowa agregacja awk dla formatu combined log serwera Nginx. W jednym przebiegu oblicza liczbę żądań, łączną liczbę bajtów i współczynnik błędów dla każdego wirtualnego hosta.

Wykorzystane techniki:

• Klucz złożony: vhost wyodrębniony z pola
• Równoległe tablice: reqs[], bytes[], errors[]
• Warunkowe gromadzenie danych: $9 >= 400 do zliczania tylko odpowiedzi błędnych
• Sformatowana tabela printf w bloku END

Sprawdź, czy rozumiesz częsty problem podczas agregacji w awk.

Poznałeś podstawowe wzorce obliczania agregacji według grup w całości za pomocą awk:

• Zliczanie: count[$key]++ — zwiększaj przy każdym wierszu, wypisz w END
• Sumowanie: total[$key] += $N — gromadź wartości liczbowe dla poszczególnych grup
• Średnia: utrzymuj zarówno count[], jak i total[], a następnie dziel w END
• Min/Max: zainicjalizuj przy pierwszym wystąpieniu za pomocą !(key in arr), a następnie porównuj
• Klucze złożone: łącz pola separatorem, aby grupować według wielu wymiarów
• Posortowane wyniki: przekaż dane wypisywane przez awk w END do sort, aby uzyskać deterministyczną kolejność
• Resetowanie sekcji: użyj delete arr, aby wyczyścić stan między logicznymi sekcjami wejścia

Wzorce te pozwalają zastąpić rozbudowane zapytania do baz danych lub wielokrotne przejścia potoku jednym wydajnym wywołaniem awk — to niezbędna umiejętność w produkcyjnej pracy z powłoką.