Fine-tuning versus retrieval til domæneviden
Hvornår bør De fine-tune en model, og hvornår bør De bruge retrieval? Lær om afvejningerne, omkostningerne og en beslutningsramme til at tilføre domæneviden.
Fine-tuning versus retrieval til domæneviden er en gratis Promptdesign og optimering af LLM'er for udviklere-lektion på CoddyKit. Dette er lektion 4 af 4. Du kan læse hele lektionen gratis nedenfor — og derefter øve dig praktisk i browseren med en indbygget kodeeditor og en AI-vejleder, der er tilgængelig døgnet rundt. Den er en del af læringsforløbet i Promptdesign og optimering af LLM'er for udviklere, og dine fremskridt synkroniseres på tværs af nettet og CoddyKit-appen. Promptdesign og optimering af LLM'er for udviklere-kurset indeholder 4 lektioner i alt.
To måder at specialisere på
Hvis du vil gøre et LLM til ekspert inden for dit domæne, kan du:
- Finjustere: justere modellens vægte ud fra dine data
- Hente: hente relevante dokumenter på forespørgselstidspunktet (RAG)
Ofte er den bedste løsning en kombination af begge.
Hvad finjustering ændrer
Finjustering indbygger mønstre i vægtene. Det er fremragende til at lære stil, format og adfærd — for eksempel altid at svare i en bestemt JSON-struktur eller med en bestemt brand-stemme.
Hvad hentning ændrer
Hentning indsætter fakta under kørsel uden at ændre vægtene. Det er velegnet, når videnmængden er stor, opdateres ofte eller skal kunne henføres til en kilde.
Aktualitet er vigtig
En finjusteret model fastfryser sin viden på træningstidspunktet. Hvis dine fakta ændrer sig dagligt (priser, politikker, lagerbeholdning), vinder hentning, fordi du blot skal opdatere dokumentlageret.
Sammenligning af omkostninger
Finjustering har en indledende træningsomkostning og en ny model, der skal vedligeholdes. Hentning har løbende omkostninger pr. forespørgsel til embeddings og lagring, men kræver ingen gen-træning. Tilpas modellen til, hvor ofte dine data opdateres.
Et eksempel på finjustering
Data til finjustering er normalt par af prompts og svar i JSONL. Modellen lærer at efterligne de ønskede svar.
{"messages":[{"role":"user","content":"Summarize ticket 42"},{"role":"assistant","content":"Priority: high. Issue: login fails."}]}Et eksempel på hentning
RAG laver en embedding af forespørgslen, finder nærliggende dele og indsætter dem i prompten som kontekst.
const docs = vectorStore.search(embed(query), 5);
const prompt = buildPrompt(query, docs);
const answer = await llm(prompt);Risiko for hallucinationer
Finjustering på fakta kan øge hallucinationer — modellen angiver selvsikkert indlærte fakta, selv når de er forkerte. Hentning gør det muligt at angive og kontrollere kilder, hvilket reducerer opdigtning.
Kombination af begge
Et stærkt mønster er at finjustere til adfærd og format og bruge hentning til aktuelle fakta. Modellen ved, hvordan den skal handle; dokumenterne fortæller den, hvad der er sandt i dag.
Krav til data
Finjustering kræver hundredvis til tusindvis af rene og ensartede eksempler. Hentning kræver kun dokumenter opdelt i passende dele samt embeddings — langt mindre mærkningsarbejde for at komme i gang.
En beslutningstjekliste
Vælg hentning, hvis videnmængden er stor, ændrer sig eller skal kunne henføres til en kilde. Vælg finjustering, hvis du har brug for ensartet stil eller format eller lavere svartid pr. kald ved en fast adfærd. Kombinér dem, når du har brug for begge dele.
Hurtigt tjek
Test din forståelse.
Opsummering
Du har sammenlignet finjustering (bedst til stil, format og adfærd) med hentning (bedst til store, aktuelle fakta, der kan henføres til kilder). Finjustering kan forværre faktuelle hallucinationer; en kombination af en finjusteret adfærdsmodel og hentning til fakta er ofte den stærkeste domænetilpasning.
Lær Promptdesign og optimering af LLM'er for udviklere med en AI-underviser — gratis
Skriv og kør rigtig kode i din browser, få øjeblikkelig hjælp fra en AI-underviser døgnet rundt, og fortsæt, hvor du slap, på web eller i appen.
- Kurser
- 12
- Lektioner
- 48
Ofte stillede spørgsmål
Er lektionen “Fine-tuning versus retrieval til domæneviden” gratis?
Ja — hele teksten til “Fine-tuning versus retrieval til domæneviden” kan læses gratis her på nettet. Hvis du vil øve dig interaktivt med en indbygget kodeeditor og en AI-vejleder døgnet rundt og få adgang til resten af Promptdesign og optimering af LLM'er for udviklere-kurset, skal du opgradere til CoddyKit PRO. Promptdesign og optimering af LLM'er for udviklere-kurset indeholder 4 lektioner i alt.
Hvad lærer jeg i “Fine-tuning versus retrieval til domæneviden”?
Hvornår bør De fine-tune en model, og hvornår bør De bruge retrieval? Lær om afvejningerne, omkostningerne og en beslutningsramme til at tilføre domæneviden. Du øver dig i Promptdesign og optimering af LLM'er for udviklere med praktisk kode, som du kører direkte i browseren, og en AI-vejleder døgnet rundt besvarer dine spørgsmål, mens du arbejder dig gennem lektionen.
Skal jeg have erfaring for at begynde på Promptdesign og optimering af LLM'er for udviklere?
Der kræves ingen tidligere erfaring. Promptdesign og optimering af LLM'er for udviklere på CoddyKit er tilrettelagt for både begyndere og øvede, så du kan starte her eller fra begyndelsen og lære i dit eget tempo. Dette er lektion 4 af 4.
Hvor lang tid tager lektionen “Fine-tuning versus retrieval til domæneviden”?
De fleste CoddyKit-lektioner tager cirka 5–10 minutter. Hver lektion er kort og interaktiv, så du gør løbende fremskridt og kan fortsætte, hvor du slap – på både web og app.
Kan jeg skrive og køre kode i denne Promptdesign og optimering af LLM'er for udviklere-lektion?
Ja. Alle Promptdesign og optimering af LLM'er for udviklere-lektioner har en indbygget kodeeditor, så du kan skrive og køre rigtig kode direkte i din browser og få øjeblikkelig feedback fra AI – uden lokal opsætning.
Alle lektioner i dette kursus
- Domænespecifikke prompting-strategier
- Integration af knowledge graphs
- Hybride LLM-tilgange (symbolsk + neural)
- Fine-tuning versus retrieval til domæneviden