LLMOps가 기존 MLOps와 다른 점

이미 MLOps를 알고 계실 것입니다. LLMOps는 대규모 언어 모델을 대상으로 하는 동일한 원칙이며, 여기서는 가중치만큼 프롬프트와 컨텍스트도 중요합니다. 🤖

전통적인 ML에서는 모델을 학습합니다. LLMOps에서는 일반적으로 API 뒤의 사전 학습된 모델을 호출하므로, 실제 작업의 초점이 프롬프트 작성과 오케스트레이션으로 옮겨갑니다.

같은 모델도 표현 방식에 따라 전혀 다른 답변을 내놓습니다. 여기서 프롬프트는 코드처럼 버전을 관리하고, 테스트하고, 검토하는 일급 산출물이 됩니다.

같은 프롬프트를 두 번 보내도 서로 다른 텍스트를 받을 수 있습니다. 이러한 비결정성 때문에 전통적인 테스트처럼 정확한 동일성을 단정할 수 없습니다.

temperature를 조정하여 창의성과 일관성 사이의 균형을 맞춥니다. 값이 낮을수록 출력이 안정적이므로 평가와 디버깅이 훨씬 쉬워집니다.

전통적인 모델은 표 형식의 특성을 읽습니다. LLM 애플리케이션은 문서와 이력을 컨텍스트 창에 주입하므로, 특성 엔지니어링이 컨텍스트 엔지니어링으로 대체됩니다.

자유 형식 텍스트에 단순히 정확도를 계산할 수는 없습니다. LLMOps는 평가 기준, 참조 답변 또는 심판 역할을 하는 다른 모델을 사용한 점수화에 의존합니다.

모든 요청은 입력 및 출력 토큰 수에 따라 요금이 부과됩니다. 비용이 트래픽에 따라 직접 증가하므로 토큰 사용량을 확인하는 것이 핵심 운영 지표가 됩니다.

생성은 느리고 출력 길이에 따라 달라집니다. 지연 시간은 모델이 생성하는 토큰 수에 좌우되므로, 응답을 스트리밍하면 사용자가 더 만족합니다.

LLM은 환각을 일으키거나 데이터를 유출할 수 있습니다. LLMOps는 사후 대응이 아닌 표준 계층으로서 입력과 출력에 안전장치를 추가합니다.

배포하고, 모니터링하고, 개선하는 과정은 여전히 적용됩니다. 달라지는 것은 도구입니다. 프롬프트 레지스트리, 추적, 평가, 안전장치가 익숙한 MLOps 스택에 추가됩니다.

LLMOps가 학습에서 프롬프트, 컨텍스트, 비결정적 출력, 토큰, 안전으로 초점을 옮기는 방식을 살펴보았습니다. 수명 주기는 같고 도구는 새롭습니다. 훌륭한 시작입니다! 🎉