프롬프트 버전 관리하고 출력 평가하기
프롬프트 변경 사항을 추적하고 응답을 평가하세요.
프롬프트 버전 관리하고 출력 평가하기은(는) CoddyKit의 무료 MLOps Academy 강의입니다. 이것은 4개 중 2번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 MLOps Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. MLOps Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
프롬프트는 코드입니다
프롬프트를 다시 표현하는 것만으로도 하룻밤 사이 동작이 바뀔 수 있습니다. 따라서 각 프롬프트를 이력, 검토, 롤백 기능을 갖춘 버전 관리된 산출물로 다룹니다. 📝
문자열이 아닌 프롬프트 저장하기
코드 곳곳에 흩어진 하드코딩 문자열은 추적할 수 없습니다. 프롬프트를 레지스트리나 파일에 보관하여 모든 변경 사항을 확인하고 비교할 수 있게 하십시오.
prompts/summarize_ticket.v2.txt
prompts/summarize_ticket.v3.txt각 버전에 태그 지정하기
모든 프롬프트에 코드에서 고정할 수 있는 명확한 버전 ID를 부여하십시오. 그러면 특정 출력이 정확히 어떤 표현에서 생성되었는지 항상 알 수 있습니다.
PROMPT_VERSION = "summarize-v3"
template = load_prompt(PROMPT_VERSION)평가 데이터 세트 구축하기
원하는 답변과 함께 실제 입력을 수집하십시오. 이 평가 세트는 프롬프트 변경이 실제로 도움이 되었는지 판단하는 기준입니다.
cases = [
{"input": "ticket text...", "expected": "Refund requested"},
]참조 답변과 비교해 점수 매기기
정답이 알려진 작업에서는 출력을 예상 텍스트와 비교하십시오. 정확히 일치하는지 또는 F1인지와 같은 간단한 지표로 빠르게 통과 또는 실패를 판단할 수 있습니다.
LLM을 심판으로 사용하기
정답이 정해지지 않은 텍스트의 경우 다른 모델에게 평가 기준에 따라 답변을 채점하도록 요청하십시오. 이 LLM 심판 방식은 직접 작성한 규칙을 넘어 점수화를 확장합니다.
judge_prompt = "Rate 1-5 how well the summary captures the ticket:\n{output}"심판 자체도 관찰하기
심판은 편향되거나 일관되지 않을 수 있습니다. 동일한 사례에 대한 소수의 사람 평가와 점수를 표본 검사하여 심판을 신뢰할 수 있게 유지하십시오.
변경할 때마다 평가 실행하기
새 프롬프트를 배포하기 전에 전체 평가 세트에 대해 실행하십시오. 점수가 유지되거나 향상될 때만 승격하고, 절대 막연한 감으로 결정하지 마십시오.
old = run_eval("summarize-v2")
new = run_eval("summarize-v3")
assert new.score >= old.score회귀 추적하기
한 사례를 해결한 프롬프트가 다른 사례를 망가뜨릴 수 있습니다. 사례별 결과를 비교하면 사용자가 보기 전에 이러한 회귀를 발견할 수 있습니다.
프레임워크의 도움 받기
promptfoo나 OpenAI Evals 같은 도구는 데이터 세트를 실행하고, 모델을 호출하고, 점수를 대신 보고합니다. 프레임워크는 임시 테스트를 반복 가능한 테스트 모음으로 바꿉니다.
승자를 고정하기
평가에서 한 버전이 승리하면 운영 환경에 고정하고 나머지는 보관하십시오. 이제 프롬프트부터 결과까지 명확하고 감사 가능한 이력이 생겼습니다.
빠른 확인
단 하나의 정답이 없는 개방형 요약에 점수를 매겨야 합니다. 무엇이 가장 적합합니까?
복습
버전 관리된 프롬프트를 만들고, 평가 세트를 구축하고, 지표 또는 LLM 심판으로 점수를 매기고, 결과에 따라 출시를 허용하는 방법을 배웠습니다. 이제 더 이상 추측하지 않아도 됩니다! 🎉
자주 묻는 질문
“프롬프트 버전 관리하고 출력 평가하기” 강의는 무료인가요?
네 — “프롬프트 버전 관리하고 출력 평가하기” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 MLOps Academy 강의 전체를 잠금 해제할 수 있습니다. MLOps Academy 강의에는 총 4개의 강의가 포함되어 있습니다.
“프롬프트 버전 관리하고 출력 평가하기”에서 뭘 배우나요?
프롬프트 변경 사항을 추적하고 응답을 평가하세요. 브라우저에서 직접 실행하는 실습 코드로 MLOps Academy을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
MLOps Academy을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 MLOps Academy은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 2번째 강의입니다.
“프롬프트 버전 관리하고 출력 평가하기” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 MLOps Academy 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 MLOps Academy 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.
이 강의의 모든 강의
- LLMOps가 기존 MLOps와 다른 점
- 프롬프트 버전 관리하고 출력 평가하기
- LLM 호출 추적하고 모니터링하기
- 가드레일과 RAG 평가