파이프라인 실행하기

지금까지 파이프라인은 순수한 블루프린트였습니다. 머티리얼라이제이션은 이 블루프린트를 실제로 데이터를 이동시키는 실행 중인 액터로 바꾸는 과정입니다.

그래프를 명시적으로 실행하기 전까지는 아무 일도 일어나지 않습니다. 이 특성 덕분에 Akka Streams를 조합하고 재사용할 수 있습니다.

머티리얼라이제이션에는 스트림 스테이지를 뒷받침하는 스레드와 디스패처를 제공하는 ActorSystem이 필요합니다. 최신 Akka에서는 시스템이 암시적 머티리얼라이저 역할도 합니다.

일반적으로 하나의 ActorSystem이 애플리케이션 전체와 여러 동시 스트림을 담당합니다.

소스를 실행하는 가장 직접적인 방법은 runWith입니다. 이 방법은 싱크를 연결하고 한 단계에서 머티리얼라이즈하며, 해당 싱크의 머티리얼라이즈된 값을 반환합니다.

여기서 결과는 스트림이 끝날 때 합계와 함께 완료되는 Future[Int]입니다.

이미 to 또는 toMat으로 닫힌 RunnableGraph를 구성했다면 run()을 호출해 머티리얼라이즈하세요. 반환값은 그래프가 유지한 머티리얼라이즈된 값입니다.

이렇게 하면 파이프라인 구성과 실행을 명확하게 분리할 수 있습니다.

소스는 여러 단축 메서드를 제공합니다. runForeach, runFold, runReduce는 각각 해당하는 싱크를 연결하고 즉시 실행합니다.

소스의 일반적인 종단 연산을 간결하게 작성할 때 유용합니다.

종단 싱크는 스트림이 종료되거나 실패할 때 완료되는 Future를 반환합니다. onComplete로 콜백을 등록해 성공이나 오류에 대응하세요.

이 콜백의 암시적 ExecutionContext로 ActorSystem의 디스패처를 사용하세요.

일반적인 데이터 처리 파이프라인은 소스에서 데이터를 읽고, 플로로 변환하며, mapAsync로 비동기 입출력을 수행하고, grouped로 일괄 처리한 다음 싱크에 기록합니다.

각 단계는 작게 구성되며, 전체 파이프라인은 단 한 번의 run으로 구체화됩니다.

복원력을 높이려면 소스나 플로를 RestartSource.withBackoff로 감싸십시오. 그러면 일시적인 오류(연결 끊김)가 발생했을 때 지수형 재시도 간격을 적용해 자동으로 다시 시작합니다.

이렇게 하면 수동으로 감독하지 않아도 장시간 실행되는 데이터 수집 파이프라인을 계속 유지할 수 있습니다.

KillSwitch를 사용하면 외부 코드에서 실행 중인 스트림을 깔끔하게 중지할 수 있습니다. viaMat을 통해 KillSwitches.single을 삽입하고, 구체화된 값을 보관해 두었다가 나중에 shutdown()을 호출하십시오.

애플리케이션이 종료될 때 중지해야 하는 장수 스트림에는 이 기능이 필수적입니다.

애플리케이션이 종료될 때 스레드를 해제하려면 ActorSystem을 종료하십시오. 스트림의 완료를 나타내는 비동기 결과 뒤에 terminate 호출을 연결하면 종료가 질서 있게 진행됩니다.

ActorSystem을 누수시키면 JVM이 계속 실행되고 리소스가 열린 상태로 유지됩니다.

동일한 설계도를 여러 번 구체화하면 서로 독립적으로 실행되는 스트림이 생성되며, 이 스트림들은 ActorSystem의 리소스를 공유합니다. 설계도 자체는 변경되지 않고 부작용도 없는 상태로 유지됩니다.

따라서 파이프라인을 한 번 정의한 뒤 들어오는 각 작업에 필요할 때마다 실행해도 안전합니다.

파이프라인을 실행한다는 것은 ActorSystem을 사용해 설계도를 구체화하는 것을 의미하며, run, runWith 또는 편의 연산자를 사용하면 각각 비동기 결과를 반환합니다.

현실적인 다단계 파이프라인, 재시도 간격을 적용한 자동 재시작, KillSwitch를 통한 정상적인 종료, system.terminate()를 사용한 리소스 정리, 그리고 변경할 수 없는 설계도를 서로 독립적인 실행에서 안전하게 재사용하는 방법을 살펴보았습니다.