인공지능 시스템 아키텍처 패턴

운영 환경의 AI 시스템은 단순한 모델 파일보다 훨씬 더 많은 요소로 구성됩니다. 데이터 파이프라인, 피처 저장소, 서비스 제공 인프라, 모니터링이 포함됩니다. 아키텍처 패턴은 이러한 요소를 안정적으로 조립하기 위해 검증된 설계도입니다.

AI 시스템에는 다음 두 가지가 모두 필요한 경우가 많습니다.

• 과거 데이터에서 정확하고 종합적인 결과를 얻기 위한 배치 처리
• 새로운 이벤트에 대해 최신의 낮은 지연 시간 결과를 얻기 위한 실시간 처리

이 두 방식을 조화시키는 것은 반복해서 등장하는 설계 과제입니다.

람다 아키텍처는 병렬로 실행되는 두 계층으로 이 문제를 해결합니다. 배치 계층은 모든 데이터를 대상으로 정확한 뷰를 다시 계산하고, 속도 계층은 최근 데이터를 낮은 지연 시간으로 처리합니다. 서비스 제공 계층은 쿼리할 때 두 결과를 결합합니다.

배치 계층은 전체 데이터 세트를 주기적으로 다시 처리하여 신뢰할 수 있고 정확한 결과를 생성합니다. 예를 들어 매일 밤 피처를 다시 계산할 수 있습니다. 정확하지만 지연 시간이 길기 때문에 최근 몇 초 동안 발생한 이벤트는 반영할 수 없습니다.

속도 계층은 스트리밍 데이터를 거의 실시간으로 처리하여 마지막 배치 실행 이후의 공백을 메웁니다. 최신성을 위해 일부 정확성을 절충하며, 그 결과는 다음 배치 실행이 끝나면 결국 새 결과로 대체됩니다.

피처 스토어는 머신러닝 피처를 관리하는 중앙 시스템입니다. 피처 스토어는 중요한 문제를 해결합니다. 학습과 서비스 제공에서 반드시 동일한 피처 정의를 사용해야 합니다. 그렇지 않으면 운영 환경에서 모델이 학습할 때와 다른 입력을 받게 됩니다(학습과 서비스 제공 간 불일치).

오프라인 저장소는 대규모 과거 피처 값을 보관하며, 일반적으로 데이터 레이크나 데이터 웨어하우스의 파케이 파일 형태로 저장합니다. 오프라인 저장소는 지연 시간보다 처리량이 중요한 학습과 배치 점수 계산을 지원합니다.

온라인 저장소는 Redis와 같은 낮은 지연 시간 데이터베이스에 최신 피처 값을 보관합니다. 서비스 제공 시 모델은 여기에서 밀리초 단위로 피처를 가져오며, 오프라인 저장소와 동일한 정의를 사용합니다.

피처 스토어는 학습을 위해 오프라인에서 계산한 피처가 서비스 제공 시 온라인에서 읽는 값과 일치하도록 보장합니다. 이러한 일관성은 운영 환경에서 조용히 발생하는 주요 버그 원인을 제거하며, 이것이 피처 스토어의 핵심 가치입니다.

운영 환경에서 새 모델을 신뢰하기 전에 섀도 모드로 실행해 보세요. 새 모델은 실제 트래픽을 받고 예측을 수행하지만, 예측 결과는 사용자에게 제공하지 않고 기록만 합니다. 사용자에게 아무런 위험을 주지 않으면서 현재 모델의 결과와 비교할 수 있습니다.

섀도 모드에서 새 모델이 실제 트래픽에 대해 정확하고 안정적이라는 사실이 확인되면, 보통 카나리 배포를 통해 모델을 승격합니다. 섀도 모드와 카나리 배포를 함께 사용하면 학습된 모델을 전체 운영 트래픽으로 안전하고 단계적으로 전환할 수 있습니다.

아키텍처에 대한 지식을 점검해 보세요.

AI 시스템 아키텍처 패턴을 배웠습니다.

• 람다 아키텍처: 배치 계층(정확함)과 속도 계층(최신성)의 조합
• 피처 스토어: 학습을 위한 오프라인 파케이, 서비스 제공을 위한 온라인 Redis, 일관된 정의
• 섀도 모드는 새 모델을 승격하기 전에 실제 트래픽에서 검증합니다