Öppna modeller med function calling (Hermes, Functionary)
De flesta öppna basmodeller kan inte anropa verktyg särskilt bra – Hermes och Functionary är finjusterade för detta.
Öppna modeller med function calling (Hermes, Functionary) är en gratis lektion i AI-agenter på CoddyKit. Detta är lektion 3 av 4. Ni kan läsa hela lektionen gratis nedan och sedan öva praktiskt i webbläsaren med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt. Den ingår i lärvägen för AI-agenter, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i AI-agenter innehåller totalt 4 lektioner.
Basmodeller kan inte göra tillförlitliga verktygsanrop
Vanliga basmodeller från Llama, Mistral eller Qwen kan uppmanas att "return JSON like {...}" men producerar ofta felaktigt formaterade resultat, missar argument eller hallucinerar fram verktyg.
Finjusteringar för funktionsanrop löser detta.
Hermes-familjen
NousResearchs Hermes-modeller är finjusterade modeller för funktionsanrop i toppklass:
- Hermes 3 Llama 3.1 8B / 70B
- Hög träffsäkerhet vid verktygsanrop
- Tillåtande licens av Apache-typ
Functionary
MeetKais Functionary-modeller är uttryckligen tränade för OpenAI-kompatibla funktionsanrop:
- Functionary v3 (baserad på Llama 3.1)
- Stöder parallella verktygsanrop
- Tillgängliga på HuggingFace och Together AI
Inbyggd verktygsanvändning i Llama 3.1+
Nyare instruct-varianter av Llama 3.1, Llama 3.3 och Llama 4 har inbyggd förmåga till verktygsanrop. För många uppgifter räcker de; för svåra fall kan ni använda Hermes / Functionary.
Verktygsanvändning i Qwen 2.5
Qwen 2.5 har stark inbyggd verktygsanvändning och kan konkurrera med slutna modeller. Det är ofta standardvalet för självhostade flerspråkiga agenter.
Anropa öppna modeller med stöd för verktyg
Alla OpenAI-kompatibla servrar (Ollama, vLLM, Together AI) accepterar samma tools-parameter:
from openai import OpenAI
client = OpenAI(base_url='http://localhost:11434/v1', api_key='ollama')
tools = [{'type': 'function', 'function': {
'name': 'get_weather',
'description': 'Current weather',
'parameters': {'type': 'object', 'properties': {'city': {'type': 'string'}}, 'required': ['city']}
}}]
response = client.chat.completions.create(
model='hermes3:8b',
messages=[{'role': 'user', 'content': 'Weather in Paris?'}],
tools=tools
)Validera resultat noggrant
Verktygsanrop med öppna modeller misslyckas oftare än med slutna modeller. Gör alltid följande:
- Tolka JSON i try/except
- Validera med Pydantic
- Lägg till en reparationsloop
Tvinga fram verktygsanrop med Outlines
För garanterat strukturerade resultat med öppna modeller kan ni använda Outlines för grammatikbegränsad avkodning:
import outlines
model = outlines.models.transformers('meta-llama/Llama-3.1-8B-Instruct')
generator = outlines.generate.json(model, ToolCall)
result = generator(prompt)Verktygsanvändning i Hugging Face TGI
TGI stöder verktygsanvändning i OpenAI-stil för många öppna modeller — en direkt ersättning.
Benchmarka kvaliteten på verktygsanvändningen
Verktygsanrop utvärderas med:
- Berkeley Function Calling Leaderboard (BFCL) — den definitiva rankningen
- ToolBench — bredare täckning
- API-Bank — scenarier med flera verktyg
En rimlig standardstack
Den kombination som de flesta team landar i:
- Llama 3.1 8B Instruct för allmänt agentarbete
- Qwen 2.5 Coder för kodagenter
- Hermes 3 för agenter med många verktyg
- Outlines eller Instructor för garanterat strukturerade resultat
Kör via en hostad leverantör
För noll infrastruktur hostar Together AI, Fireworks och Anyscale Hermes, Functionary, Llama och Qwen med OpenAI-kompatibla API:er. Billigare än OpenAI för liknande kvalitet.
Exempel på kostnadsjämförelse
Ungefärlig kostnad per miljon token (mitten av 2025):
- GPT-4o: $2.50 in, $10 out
- Llama 3.1 70B (Together AI): $0.88 in, $0.88 out
- Självhostad Llama 8B: $0 (er elektricitet)
Varför använda finjusteringar för funktionsanrop?
Varför använda Hermes eller Functionary i stället för basmodellen Llama för verktygsanrop?
Sammanfattning
Nyare Llama / Qwen har godtagbar inbyggd verktygsanvändning. För högre tillförlitlighet kan ni använda Hermes eller Functionary. Kombinera med Outlines/Instructor för garanterad struktur.
Lär dig AI-agenter med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 60
- Lektioner
- 239
Vanliga frågor
Är lektionen ”Öppna modeller med function calling (Hermes, Functionary)” gratis?
Ja – hela texten till ”Öppna modeller med function calling (Hermes, Functionary)” kan läsas gratis här på webben. Om Ni vill öva interaktivt med en inbyggd kodredigerare och en AI-handledare som är tillgänglig dygnet runt och låsa upp resten av kursen i AI-agenter, kan Ni uppgradera till CoddyKit PRO. Kursen i AI-agenter innehåller totalt 4 lektioner.
Vad lär jag mig i ”Öppna modeller med function calling (Hermes, Functionary)”?
De flesta öppna basmodeller kan inte anropa verktyg särskilt bra – Hermes och Functionary är finjusterade för detta. Ni övar på AI-agenter med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig AI-agenter?
Du behöver inga förkunskaper. Utbildningen i AI-agenter på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 3 av 4.
Hur lång tid tar lektionen ”Öppna modeller med function calling (Hermes, Functionary)”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här AI-agenter-lektionen?
Ja. Varje AI-agenter-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- Översikt över Llama, Mistral och Qwen
- Kör lokala modeller med Ollama och llama.cpp
- Öppna modeller med function calling (Hermes, Functionary)
- Avvägningar: svarstid, kostnad och kapacitet