การเลือกเส้นทางโมเดล (ราคาถูก -> ราคาแพง)

อย่าใช้แบบจำลองขนาดใหญ่กับงานง่าย

รูปแบบการกำหนดเส้นทาง

Confidence-Based Routing

cheap_response = call('gpt-4o-mini', messages)
confidence = parse_confidence(cheap_response)
if confidence > 0.85:
    return cheap_response
# Otherwise escalate
return call('gpt-4o', messages)

การกำหนดเส้นทางตามการตรวจสอบความถูกต้อง

try:
    result = Schema.model_validate_json(cheap_response.content)
    return result
except ValidationError:
    return Schema.model_validate_json(call('gpt-4o', messages).content)

การเลือกแบบจำลองรายขั้นตอน

MODEL_BY_STEP = {
    'classify_intent': 'gpt-4o-mini',     # easy
    'plan': 'gpt-4o',                     # critical
    'extract': 'gpt-4o-mini',             # routine
    'write_response': 'claude-sonnet-4-5' # quality matters
}

# --- demo ---
for step in ['classify_intent', 'plan', 'extract', 'write_response']:
    print(f'{step:16s} -> {MODEL_BY_STEP[step]}')

การกำหนดเส้นทางข้ามผู้ให้บริการ

if need_low_latency:
    return call_groq('llama-3.1-70b')
elif need_long_context:
    return call_anthropic('claude-sonnet-4-5')
else:
    return call_openai('gpt-4o-mini')

LLM ในฐานะตัวกำหนดเส้นทาง

router = call('gpt-4o-mini', 'Classify this request as simple/complex/code. Return one word.')
if router == 'simple':
    return call('gpt-4o-mini', user_msg)
else:
    return call('gpt-4o', user_msg)

ห่วงโซ่สำรอง

for model in ['gpt-4o', 'claude-sonnet-4-5', 'gpt-4o-mini']:
    try:
        return call(model, messages)
    except RateLimitError:
        continue
raise AllModelsFailed()

การกำหนดเส้นทางด้วยเวกเตอร์ฝังตัว

embedding = embed(query)
matches = vector_db.query(embedding, k=3, filter={'category': 'easy'})
if max(m.score for m in matches) > 0.9:
    use_cheap_model()

ตัวอย่างลำดับชั้นการกำหนดเส้นทาง

วัดการประหยัดสุทธิ

ปรับเทียบความมั่นใจ

ตัวกำหนดเส้นทางแบบโอเพนซอร์ส

กลยุทธ์การกำหนดเส้นทาง

สรุปทบทวน