การตรวจสอบผลลัพธ์เครื่องมือ (Pydantic)

ไว้ใจแต่ต้องตรวจสอบ

โมเดล Pydantic

from pydantic import BaseModel, HttpUrl

class SearchResult(BaseModel):
    title: str
    url: HttpUrl
    snippet: str
    score: float = 0.0

Validate at the Boundary

from pydantic import ValidationError

def search(query):
    raw = requests.post('https://api.tavily.com/search', json={'query': query}).json()
    results = []
    for r in raw.get('results', []):
        try:
            results.append(SearchResult.model_validate(r))
        except ValidationError as e:
            log.warning('Bad search result skipped: %s', e)
    return results

รายการที่มีการตรวจสอบด้วยโมเดล

from pydantic import BaseModel
class SearchResponse(BaseModel):
    results: list[SearchResult]

response = SearchResponse.model_validate(raw)

ตัวตรวจสอบฟิลด์

from pydantic import field_validator

class SearchResult(BaseModel):
    score: float

    @field_validator('score')
    @classmethod
    def score_in_range(cls, v):
        if not 0 <= v <= 1:
            raise ValueError('score out of [0,1]')
        return v

เข้มงวดเทียบกับผ่อนปรน

from pydantic import StrictInt

class User(BaseModel):
    age: StrictInt   # rejects '25' (string)

Default Values for Missing Fields

class Tool(BaseModel):
    name: str
    description: str = 'No description provided'   # fallback

ตรวจสอบเอาต์พุตแบบมีโครงสร้างของ LLM

ตรวจสอบอาร์กิวเมนต์ของเครื่องมือ

class SearchArgs(BaseModel):
    query: str
    k: int = 5

args = SearchArgs.model_validate_json(tool_call.function.arguments)
results = search(args.query, args.k)

ใช้ข้อผิดพลาดในการตรวจสอบเป็นผลลัพธ์ของเครื่องมือ

try:
    args = SearchArgs.model_validate_json(...)
except ValidationError as e:
    return {'error': f'Invalid arguments: {e}'}

การจัดการรุ่นของแบบแผนข้อมูล

class SearchResultV2(BaseModel):
    title: str
    url: HttpUrl
    relevance: float       # was 'score' in v1

สร้างแบบแผน JSON จาก Pydantic

schema = SearchArgs.model_json_schema()
# Use directly as the 'parameters' for an OpenAI tool definition.

เป้าหมายของการตรวจสอบ

สรุป