양자화와 추측 디코딩

자체 호스팅 오픈 모델에서 속도와 비용을 크게 개선하는 두 가지 방법은 다음과 같습니다.

1. 양자화 — 가중치를 줄여 RAM/VRAM 사용량을 낮추고 추론을 빠르게 합니다
2. 추측 디코딩 — 한 단계에서 여러 토큰을 생성합니다

모델은 일반적으로 가중치당 16비트인 FP16으로 저장됩니다. 양자화는 비트 수를 줄입니다.

• FP16 — 기준
• INT8 — 크기 2배 감소, 품질 손실은 거의 무시할 수준
• INT4 / Q4_K_M — 크기 4배 감소, 품질이 약간 저하
• INT2 / 1.58비트 — 크기 8배 이상 감소, 품질이 실제로 저하

GGUF는 llama.cpp에서 사용하는 형식입니다. 일반적인 수준은 다음과 같습니다.

• Q4_K_M — 가장 균형이 좋음(품질과 크기)
• Q5_K_M — 약간 더 크고 품질도 약간 더 좋음
• Q8_0 — FP16에 가까운 품질, 2배 압축

8B FP16 모델에는 약 16GB의 VRAM이 필요합니다. 같은 모델을 Q4로 사용하면 약 5GB의 VRAM에 들어가므로 훨씬 저렴한 GPU에서 실행할 수 있습니다.

방법은 간단합니다. 작은 “초안” 모델로 토큰을 제안한 다음, 한 번의 순전파에서 대형 “대상” 모델로 검증합니다. 속도가 2~3배 빨라지는 경우가 많습니다.

초안 모델이 K개의 토큰을 제안합니다. 대상 모델은 이를 모두 PARALLEL로 처리합니다(한 번의 순전파). 수락된 각 토큰은 추가 비용 없이 처리됩니다. 거부되면 되돌리며, 일반적으로 대부분의 토큰을 수락합니다.

• 앞보기 디코딩 — 단계마다 여러 초안 생성
• Medusa — 함께 학습된 여러 디코딩 헤드
• EAGLE — 빠른 트리 기반 추측

• vLLM — 양자화(AWQ, GPTQ, FP8)와 추측 디코딩을 모두 지원
• llama.cpp — --draft-model을 통한 양자화와 추측 디코딩 지원
• TensorRT-LLM — NVIDIA의 운영용 서버
• SGLang — 연속 배치를 지원하는 빠르고 배치 처리에 적합한 서버

vLLM의 대표 기능입니다. 길이가 서로 다른 여러 요청을 같은 순전파에서 처리합니다. 운영 서버의 처리량을 크게 높일 수 있습니다.

YOUR 평가 세트에서 각 후보 수준을 검증하세요. Q4_K_M을 기본 시작점으로 사용하고, 품질이 임계값 아래로 떨어지면 더 높은 수준으로 올리세요.

최적화 방법마다 개선하는 지표가 다릅니다.

• 단일 요청 지연 시간: 추측 디코딩
• 다중 사용자 처리량: 연속 배치 처리
• 메모리 비용: 양자화

메모리와 속도를 위해 Q4로 양자화하세요. 지연 시간에는 추측 디코딩을 사용하세요. 처리량에는 연속 배치 처리를 사용하세요. vLLM과 llama.cpp는 세 가지를 모두 구현합니다.