Hybrid: prompt + let tuning
Kombinér begge tilgange.
Hybrid: prompt + let tuning er en gratis Promptteknik til AI-lektion på CoddyKit. Dette er lektion 3 af 4. Du kan læse alle 3 lektioner i dette læringsspor gratis i deres fulde længde — derefter låser CoddyKit PRO alle lektioner op samt praktiske øvelser med en indbygget kodeeditor og en AI-underviser døgnet rundt. Den er en del af læringsforløbet i Promptteknik til AI, og dine fremskridt synkroniseres på tværs af nettet og CoddyKit-appen. Promptteknik til AI-kurset indeholder 4 lektioner i alt.
Den hybride tilgang
Promptning og finjustering er ikke rivaler – de er lag. Den erfarne tilgang er en let finjusteret model, der håndterer stabil, indlært adfærd, pakket ind i en kort prompt, som leverer den foranderlige kontekst for den enkelte forespørgsel.
- Finjustering optager det, der er stabilt: format, stemme og opgaveramme
- Promptning leverer det, der er foranderligt: instruktioner, hentede fakta og brugerens tilstand
- Hvert lag gør det, det er bedst til; ingen af dem bærer hele byrden
Opdeling efter stabilitet og foranderlighed
Den centrale hybride færdighed er at opdele adfærd langs aksen stabil/foranderlig. Alt, der er identisk på tværs af kald og dyrt at gentage i prompten, er en kandidat til finjustering. Alt, der ændrer sig fra kald til kald, skal blive i prompten.
Hvis du får denne opdeling forkert i den ene eller anden retning, mister du: Indlejrer du foranderligt indhold i vægtene, skal du finjustere igen for at ændre det. Beholder du stabilt indhold i prompten, betaler du dets tokenomkostning for altid.
# Classify each behavior element before deciding where it lives
def placement(element):
# element: dict with 'changes_per_call' and 'repeated_every_call'
if element['changes_per_call']:
return 'PROMPT' # volatile -> must stay dynamic
if element['repeated_every_call']:
return 'WEIGHTS' # stable + repetitive -> distill into tuning
return 'PROMPT' # default to the flexible layer
print(placement({'changes_per_call': False, 'repeated_every_call': True}))
# WEIGHTSMønster A: Promptdestillation
Det mest værdifulde hybridmønster. Du udvikler en lang prompt af høj kvalitet, bruger den til at generere eksempelbesvarelser af høj kvalitet og finjusterer derefter en model på disse besvarelser med en kort prompt.
Resultatet er, at modellen opfører sig, som om den stadig havde den lange prompt, men du sender kun en brøkdel af tokens. Den dyre prompt bliver læreren, og den billige prompt bliver grænsefladen ved kørsel. Svartid, omkostninger og ensartethed forbedres på én gang.
# Build distillation set: long prompt -> output, store with SHORT prompt
def distill_example(input_x, long_prompt, teacher):
full = long_prompt + '\n\n' + input_x
gold = teacher(full) # quality from the long prompt
short = 'Task: process the input.\n' + input_x # runtime prompt
return {'messages': [
{'role': 'user', 'content': short},
{'role': 'assistant', 'content': gold},
]}Mønster B: Finjuster formen, brug prompten til indholdet
Finjuster modellen til altid at udsende den rigtige struktur – et strengt skema, en fast virksomhedsformulering eller et domæne-DSL – og lad prompten indeholde substansen for hver forespørgsel.
Dette er ideelt, når overholdelse af formatet skal være næsten perfekt, og reglerne er for mange til at kunne opregnes, men det faktiske indhold er helt dynamisk. Den finjusterede model holder op med at kæmpe imod dig på struktur, så prompttokens kan bruges på instruktioner og hentet kontekst.
Mønster C: Finjusteret router + promptstyrede eksperter
I systemer med flere trin finjusterer du en lille, hurtig model til den smalle beslutning med høj volumen (klassifikation, rutevalg eller udtræk) og beholder en stor, promptstyret model til de åbne ræsonnementstrin.
Du får omkostningerne og svartiden fra en lille finjusteret model, hvor opgaven er smal, samt fleksibiliteten ved prompting, hvor opgaven er bred. Routeren er stabil og finjusteret, mens eksperterne fortsat kan styres via prompts, efterhånden som kravene udvikler sig.
def pipeline(user_input, router_tuned, expert_prompted):
route = router_tuned(user_input) # cheap, fast, learned
if route == 'simple':
return router_tuned(user_input) # small model handles it
# complex -> hand to large prompted model with full instructions
return expert_prompted(
'Detailed instructions...\n' + user_input
)Behold RAG i promptlaget
Selv med en finjusteret model bliver viden hentet, ikke trænet. Hybridmodellen lærer hvordan den skal bruge kontekst, mens prompten angiver, hvilken kontekst der gælder for denne forespørgsel.
Det er derfor, hybrider holder sig relevante: Grundadfærden er fastlåst i vægtene, mens fakta opdateres ved hvert kald gennem hentning. Du finjusterer sjældent (adfærd), men opdaterer konstant (viden) uden træningsomkostninger.
Let finjustering: LoRA og adaptere
Hybridtilgangen foretrækker let finjustering. Adaptere i LoRA-stil træner et lille sæt ekstra parametre, mens basismodellen forbliver fastlåst. De er billige, hurtige at iterere på og kan stables.
- Træn flere adaptere til forskellige opgaver oven på én basismodel
- Skift adaptere ved levering uden at indlæse basismodellen igen
- Træn en adapter igen på timer i stedet for dage, når adfærden ændrer sig
Det holder hybridtilgangen tæt på promptings iterationshastighed, samtidig med at du får finjusteringens fordele i form af ensartethed.
Undgå dobbelt specifikation
En klassisk hybridfejl er, at modellen er finjusteret til at udføre X, og prompten stadig instruerer den i at udføre X. De overflødige prompttokens modarbejder formålet med destillationen og kan endda komme i konflikt med den indlærte adfærd.
Efter finjusteringen skal du skære prompten kraftigt ned ved at fjerne alt, der nu er indlejret i vægtene. Kør evalueringen igen efter beskæringen for at bekræfte, at den finjusterede adfærd holder uden de overflødige instruktioner.
# After tuning, prune prompt lines that the model now does on its own
def trim_prompt(prompt_lines, behaviors_in_weights):
return [ln for ln in prompt_lines
if not any(b in ln for b in behaviors_in_weights)]
kept = trim_prompt(
['Use JSON schema', 'Write in formal tone', 'Answer the question'],
behaviors_in_weights=['JSON schema', 'formal tone'])
print(kept) # ['Answer the question'] -- only the volatile part remainsVersionsstyr de to lag sammen
En hybrid har to tæt forbundne artefakter: adapterversionen og promptskabelonens version. De skal versionsstyres og distribueres som et par – en prompt, der er skrevet til adapter v3, kan opføre sig forkert med adapter v4.
Fastlås parringen i konfigurationen, kør evalueringen mod præcis det par, du vil distribuere, og rul parret tilbage sammen. Hvis du behandler dem uafhængigt, er det den mest almindelige kilde til ubemærkede hybridregressioner.
Hyppighed af genfinjustering
Fordi foranderlig adfærd ligger i prompten, har en velfungerende hybrid kun sjældent brug for genfinjustering – primært når basismodellen udfases, eller når den stabile adfærd reelt ændrer sig. Ændringer fra dag til dag sker i promptlaget uden træningsomkostninger.
Hvis du opdager, at du genfinjusterer ofte, er din opdeling mellem stabilt og foranderligt indhold forkert: Foranderligt indhold er lækket ind i vægtene. Flyt det tilbage til prompten.
Samlet skitse for hybridforløbet
Det fulde forløb: Hent kontekst, generér en kort prompt med den finjusterede adapter, og lad vægtene levere den indlærte form. Viden og instruktioner forbliver dynamiske, mens struktur og tone er indlejret.
def hybrid_call(user_q, retriever, tuned_model, adapter_version):
docs = retriever.search(user_q, k=4) # volatile knowledge
ctx = '\n'.join(d.text for d in docs)
short_prompt = (
'Answer from context.\n' # form is in weights
'<context>' + ctx + '</context>\n'
'<q>' + user_q + '</q>'
)
return tuned_model.generate(short_prompt, adapter=adapter_version)Hurtigt tjek
Du destillerer en lang prompt til en LoRA-adapter, så modellen nu altid udsender dit strenge JSON-skema og din faste virksomhedstone. Hvad skal der ske med prompten ved kørsel?
Opsummering
Hybrid = finjusteret til stabil adfærd, promptstyret til foranderlig kontekst. Opdel adfærden langs aksen stabil/foranderlig, og lad hvert lag gøre det, det er bedst til.
- Promptdestillation: Den lange prompt underviser, den korte prompt bruges ved kørsel
- Finjuster formen, brug prompten til indholdet; finjusteret router med promptstyrede eksperter
- Behold viden i hentningen, så hybridtilgangen holder sig relevant
- Foretræk lette adaptere i LoRA-stil for høj iterationshastighed
- Fjern dobbelt angivne instruktioner, og versionsstyr adapter og prompt som et par
- Hyppig genfinjustering betyder, at foranderligt indhold er lækket ind i vægtene – flyt det tilbage
Lær Promptteknik til AI med en AI-underviser — gratis
Skriv og kør rigtig kode i din browser, få øjeblikkelig hjælp fra en AI-underviser døgnet rundt, og fortsæt, hvor du slap, på web eller i appen.
- Kurser
- 53
- Lektioner
- 199
Ofte stillede spørgsmål
Er lektionen “Hybrid: prompt + let tuning” gratis?
Ja — alle 3 lektioner i læringssporet Promptteknik til AI, inklusive “Hybrid: prompt + let tuning”, kan læses gratis i deres fulde længde her på webstedet. Derefter låser CoddyKit PRO alle lektioner op samt interaktive øvelser med en indbygget kodeeditor og en AI-underviser døgnet rundt. Promptteknik til AI-kurset indeholder 4 lektioner i alt.
Hvad lærer jeg i “Hybrid: prompt + let tuning”?
Kombinér begge tilgange. Du øver dig i Promptteknik til AI med praktisk kode, som du kører direkte i browseren, og en AI-vejleder døgnet rundt besvarer dine spørgsmål, mens du arbejder dig gennem lektionen.
Skal jeg have erfaring for at begynde på Promptteknik til AI?
Der kræves ingen tidligere erfaring. Promptteknik til AI på CoddyKit er tilrettelagt for både begyndere og øvede, så du kan starte her eller fra begyndelsen og lære i dit eget tempo. Dette er lektion 3 af 4.
Hvor lang tid tager lektionen “Hybrid: prompt + let tuning”?
De fleste CoddyKit-lektioner tager cirka 5–10 minutter. Hver lektion er kort og interaktiv, så du gør løbende fremskridt og kan fortsætte, hvor du slap – på både web og app.
Kan jeg skrive og køre kode i denne Promptteknik til AI-lektion?
Ja. Alle Promptteknik til AI-lektioner har en indbygget kodeeditor, så du kan skrive og køre rigtig kode direkte i din browser og få øjeblikkelig feedback fra AI – uden lokal opsætning.
Alle lektioner i dette kursus
- Hvornår prompting er nok
- Hvornår skal De fine-tune
- Hybrid: prompt + let tuning
- Evaluering af beslutningen