머신러닝 모델 로드 및 제공
시작 시 joblib/keras 모델 불러오기, 스레드 안전 추론, 배치 예측 엔드포인트를 다룹니다.
머신러닝 모델 로드 및 제공은(는) CoddyKit의 무료 Learn AI with Python 강의입니다. 이것은 4개 중 3번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Learn AI with Python 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Learn AI with Python 강의에는 총 4개의 강의가 포함되어 있습니다.
모델 로딩 문제
디스크에서 모델을 불러오는 작업은 느립니다. 모든 요청마다 모델을 다시 불러오면 지연 시간이 급격히 증가합니다. 해결 방법은 시작 시 모델을 한 번만 불러온 뒤 모든 요청에서 재사용하는 것입니다.
startup 이벤트
@app.on_event("startup") 훅은 서버가 시작될 때 한 번 실행됩니다. 어떤 요청이 도착하기 전에 모델을 불러오기에 가장 적합한 위치입니다.
from fastapi import FastAPI
import joblib
app = FastAPI()
@app.on_event("startup")
def load_model():
app.state.model = joblib.load("model.joblib")스레드 안전 저장소로서의 app.state
app.state는 모델처럼 공유 객체를 저장하기에 권장되는 위치입니다. 시작 시 한 번 저장하고 요청 중에는 읽기만 하므로, 변경 가능한 모듈 수준 전역 변수의 문제를 피할 수 있습니다.
from fastapi import Request
@app.post("/predict")
def predict(req: PredictRequest, request: Request):
model = request.app.state.model
return {"prediction": model.predict([req.features])[0]}전역 변수를 사용하지 않는 이유
단순한 모듈 전역 변수도 작동하지만, 로딩이 가져오기 시점에 결합되고 테스트하거나 교체하기가 더 어렵습니다. app.state는 객체의 수명을 앱에 연결하므로 더 깔끔하며 FastAPI가 권장하는 패턴입니다.
현대적인 lifespan 방식
최신 FastAPI에서는 on_event 대신 lifespan 컨텍스트 관리자를 사용합니다. 이 관리자는 시작과 종료를 한 곳에서 모두 처리합니다.
from contextlib import asynccontextmanager
@asynccontextmanager
async def lifespan(app):
app.state.model = joblib.load("model.joblib") # startup
yield
app.state.model = None # shutdown
app = FastAPI(lifespan=lifespan)모델 워밍업
프레임워크가 첫 호출 시 느슨하게 초기화되는 경우가 많기 때문에 첫 예측은 대개 느립니다. 시작 시 더미 예측으로 모델을 워밍업하면 실제 사용자의 첫 요청도 이미 빠르게 처리할 수 있습니다.
@app.on_event("startup")
def load_and_warm():
app.state.model = joblib.load("model.joblib")
app.state.model.predict([[0.0, 0.0, 0.0, 0.0]]) # warm-up워밍업이 중요한 이유
워밍업이 없으면 배포 후 첫 요청이 몇 배나 느려져 꼬리 지연 시간이 악화되고 상태 확인에 실패할 수도 있습니다. 시작 시 한 번의 더미 추론을 수행하면 중요한 처리 경로 밖에서 이 비용을 미리 지불할 수 있습니다.
배치 예측 종단점
한 번에 여러 행을 예측하는 것이 여러 번의 단일 호출보다 훨씬 효율적입니다. 모델이 배치 단위로 벡터화하기 때문입니다. 특성 벡터 목록을 받아 예측 목록을 반환하도록 하세요.
class BatchRequest(BaseModel):
items: list[list[float]]
@app.post("/predict/batch")
def predict_batch(req: BatchRequest, request: Request):
model = request.app.state.model
preds = model.predict(req.items)
return {"predictions": preds.tolist()}단일 입력과 배치 입력 비교
- 단일: 한 번에 하나의 입력을 처리하며 호출당 지연 시간이 가장 낮고 클라이언트가 단순합니다.
- 배치: 여러 입력을 한 번에 처리하며 처리량이 훨씬 높고 오프라인 점수 계산에 적합합니다.
두 방식을 모두 제공하면 실시간 사용 사례와 대량 처리 사용 사례를 모두 지원할 수 있습니다.
종단점에서 상태 읽기
모든 종단점은 request.app.state.model을 통해 공유 모델을 읽으며 모델을 다시 불러오지 않습니다. 따라서 모든 요청이 메모리에 있는 하나의 인스턴스를 공유합니다.
모두 결합하기
프로덕션에 적합한 구성은 다음과 같습니다. lifespan/startup에서 모델을 불러오고 워밍업하며, app.state에 저장하고, 상태에서 모델을 읽는 단일 예측 및 배치 예측 종단점을 모두 제공합니다. 이렇게 하면 지연 시간을 최소화하고 처리량을 극대화할 수 있습니다.
빠른 확인
모델 제공 지식을 테스트해 보세요.
복습
startup/lifespan을 통해 모델을 한 번만 불러오고, 스레드 안전하게 재사용할 수 있도록 app.state에 저장했으며, 워밍업용 더미 예측을 추가하고 처리량을 높이기 위한 배치 종단점을 제공했습니다. 다음 주제는 API를 도커화하는 방법입니다.
자주 묻는 질문
“머신러닝 모델 로드 및 제공” 강의는 무료인가요?
네 — “머신러닝 모델 로드 및 제공” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 Learn AI with Python 강의 전체를 잠금 해제할 수 있습니다. Learn AI with Python 강의에는 총 4개의 강의가 포함되어 있습니다.
“머신러닝 모델 로드 및 제공”에서 뭘 배우나요?
시작 시 joblib/keras 모델 불러오기, 스레드 안전 추론, 배치 예측 엔드포인트를 다룹니다. 브라우저에서 직접 실행하는 실습 코드로 Learn AI with Python을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.
Learn AI with Python을(를) 시작하는 데 경험이 필요한가요?
사전 경험은 필요하지 않습니다. CoddyKit의 Learn AI with Python은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 3번째 강의입니다.
“머신러닝 모델 로드 및 제공” 강의는 얼마나 걸리나요?
대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.
이 Learn AI with Python 강의에서 코드를 작성하고 실행할 수 있나요?
네. 모든 Learn AI with Python 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.