Backpressure

Backpressure to mechanizm sterowania przepływem, który zapobiega przeciążeniu wolnego konsumenta przez szybkiego producenta. Zamiast bez ograniczeń buforować dane lub je odrzucać, konsument sygnalizuje, ile danych może obsłużyć.

Akka Streams implementuje standard Reactive Streams, w którym zapotrzebowanie przepływa w górę strumienia, a elementy w dół.

Każdy etap emituje dane dopiero wtedy, gdy kolejny etap zasygnalizuje zapotrzebowanie. Sink żąda N elementów, a zapotrzebowanie propaguje się w górę strumienia, aż Source wyprodukuje dokładnie tyle elementów, ile zażądano.

Ten protokół oparty na pobieraniu oznacza, że producenci nigdy nie wysyłają większej liczby elementów, niż konsumenci mogą przetworzyć.

Bez backpressure szybki konsument Kafki zasilający wolną bazę danych zgromadziłby miliony rekordów będących w trakcie przetwarzania, wyczerpując pamięć i doprowadzając do awarii procesu.

Backpressure w naturalny sposób spowalnia wcześniejsze etapy do tempa najwolniejszego etapu, zapewniając stabilne zużycie pamięci pod obciążeniem.

Pomiędzy granicami asynchronicznymi Akka Streams utrzymuje mały bufor wewnętrzny (domyślnie 16 elementów). Pochłania on krótkie skoki napływu danych, dzięki czemu etapy nie muszą synchronizować się przy każdym elemencie.

Gdy bufor się zapełni, uruchamia się backpressure, a wcześniejszy etap przestaje produkować dane do czasu zwolnienia miejsca.

Operator buffer wstawia jawny bufor o wybranym rozmiarze wraz z obiektem OverflowStrategy, który określa, co ma się stać po jego zapełnieniu.

Pozwala to wymienić dodatkową pamięć na możliwość uniezależnienia szybkości producenta od szybkości konsumenta.

Strategie obejmują backpressure (spowolnienie wcześniejszego etapu), dropHead/dropTail (odrzucenie najstarszych lub najnowszych elementów), dropBuffer, dropNew oraz fail (zakończenie z błędem).

Strategie odrzucania sprawdzają się w przypadku danych na żywo, takich jak odczyty z czujników, gdy nieaktualne wartości można bezpiecznie odrzucić.

Gdy konsument działa wolno, conflate łączy oczekujące elementy w jeden za pomocą funkcji łączącej, zamiast przechowywać je wszystkie w buforze.

Można na przykład połączyć wiele aktualizacji liczbowych w ich sumę, aby konsument zawsze widział agregat tego, co zostało pominięte.

expand jest przeciwieństwem conflate: gdy kolejny etap zgłasza zapotrzebowanie szybciej, niż wcześniejszy etap produkuje dane, operator tworzy dodatkowe elementy na podstawie ostatniej zaobserwowanej wartości.

Przydaje się to do emitowania ostatniego odczytu w stałym tempie.

Domyślnie połączone etapy działają w ramach jednego aktora, bez buforowania między nimi. Wstawienie async umieszcza etap we własnym aktorze, dodając bufor i umożliwiając potokowe przetwarzanie równoległe.

Granice asynchroniczne to miejsca, w których faktycznie znajdują się bufory backpressure.

throttle nakłada określony maksymalny limit szybkości, generując backpressure w górę strumienia, aby go respektować. Chroni to zewnętrzne usługi z ograniczeniem częstotliwości wywołań, nawet gdy konsument mógłby działać szybciej.

Parametr burst pozwala na krótkie skoki powyżej stałego limitu.

Backpressure można wykryć, obserwując spowolnienia wcześniejszych etapów lub mierząc zajętość buforów. Operator log oraz atrybuty strumienia Akka pomagają śledzić miejsce zatrzymania potoku.

Trwale zapełniony bufor wskazuje najwolniejszy etap ograniczający przepustowość.

Zastanów się, jak Akka Streams chroni wolnego konsumenta przed zalaniem danymi przez szybkiego producenta.

Backpressure to sterowany zapotrzebowaniem fundament Akka Streams: konsumenci sygnalizują zapotrzebowanie w górę strumienia, dzięki czemu producenci nie mogą ich przeciążyć, a zużycie pamięci pozostaje ograniczone.

Poznali Państwo bufory wewnętrzne, jawny operator buffer ze strategiami przepełnienia, podsumowywanie za pomocą conflate, zaspokajanie zapotrzebowania za pomocą expand, granice asynchroniczne oraz jawne sterowanie szybkością za pomocą throttle. Następnie uruchomią Państwo kompletny potok.