När det räcker med promptning
Avvägningar mellan kostnad och flexibilitet.
När det räcker med promptning är en gratis lektion i AI-promptteknik på CoddyKit. Detta är lektion 1 av 4. Du kan läsa vilka 3 lektioner som helst i den här lärvägen kostnadsfritt i sin helhet – därefter låser CoddyKit PRO upp alla lektioner, plus praktisk övning med en inbyggd kodredigerare och en AI-lärare dygnet runt. Den ingår i lärvägen för AI-promptteknik, och Era framsteg synkroniseras mellan webben och CoddyKit-appen. Kursen i AI-promptteknik innehåller totalt 4 lektioner.
Standardvalet bör vara prompting
Innan ni tar till finjustering bör ni behandla prompting som nollhypotesen. Moderna frontlinjemodeller har tillräcklig latent förmåga för att de flesta uppgifter ska vara problem med hämtning och instruktioner, inte problem som kräver uppdatering av vikter.
Det kostsamma misstag team gör är att starta en träningskörning när en välstrukturerad prompt, några exempel och verktygsåtkomst hade fyllt gapet utan någon marginalkostnad för träning. Finjustering är bara motiverad när prompting bevisligen når ett tak.
- Prompting ändras per begäran, finjustering ändrar modellen
- Prompting kan återställas på några sekunder; en finjusterad checkpoint är en bunden artefakt
- Börja billigt och skala upp endast utifrån evidens
De tre kostnadsaxlarna
Jämför metoder utifrån tre oberoende kostnadsaxlar, inte bara kronor:
- Iterationskostnad - hur snabbt kan ni ändra beteendet? Prompting: minuter. Finjustering: timmar till dagar per cykel.
- Inferenskostnad - prompting betalar per token för långa instruktioner och exempel vid varje anrop; en finjusterad modell kan bygga in beteendet i vikterna och förkorta prompten.
- Underhållskostnad - en prompt finns i versionshanteringen och kan granskas; en checkpoint måste finjusteras på nytt när basmodellen tas ur bruk.
Prompting vinner på iteration och underhåll; finjustering kan vinna på inferenskostnad vid hög volym.
Kvantifiera break-even-punkten
Argumentet för finjustering baserat på inferenskostnad gäller bara över en volymtröskel. Modellera brytpunkten uttryckligen: en lång few-shot-prompt som lägger till 2 000 indatatoken per anrop medför en återkommande kostnad, medan en finjusterad modell fördelar träningskostnaden över volymen.
Om trafiken ligger under break-even-punkten är few-shot-prompten strikt billigare och mer flexibel.
# Rough break-even between long-prompt vs fine-tune
def breakeven_calls(train_cost_usd, extra_input_tokens, price_per_1k_input):
extra_cost_per_call = (extra_input_tokens / 1000.0) * price_per_1k_input
if extra_cost_per_call == 0:
return float('inf')
return train_cost_usd / extra_cost_per_call
# e.g. $80 train run, 2000 extra prompt tokens, $0.003/1k
print(breakeven_calls(80.0, 2000, 0.003)) # ~13.3M calls before tuning pays offFlexibilitet är en förstklassig tillgång
Det starkaste argumentet för prompting är valfrihet under osäkerhet. Kraven förändras: ett nytt gränsfall, en policyändring eller ett nytt utdatafält. Med prompting justerar ni texten; med en finjusterad modell måste ni samla in data på nytt och träna om modellen.
När uppgiftsdefinitionen fortfarande förändras – i en tidig produkt, med en tvetydig specifikation eller vid frekventa ändringar från intressenter – är prompting nästan alltid rätt val. Lås in vikterna först när målet har slutat förändras.
Förmågor som prompting redan täcker
Många problem som känns som om de kräver tuning kan lösas med tekniker på promptnivå:
- Formatföljsamhet – strukturerad output eller JSON schema-begränsningar, inte träning
- Domänens ton – ett block med stilmallsexempel samt en tydlig beskrivning av rösten
- Resonemangsdjup – uppdelning, chain-of-thought eller ett planeringssteg
- Kunskapsluckor – retrieval (RAG) tillför fakta; tuning bygger in inaktuella fakta
Använd tuning endast för sådant som prompting strukturellt inte kan åstadkomma: promptkomprimering när svarstiden är kritisk, djupt särpräglade format eller beteenden som modellen motsätter sig trots tydliga instruktioner.
RAG kontra tuning för kunskap
En vanlig sammanblandning är att team finjusterar för att tillföra kunskap när de i stället borde hämta den. Finjustering är dålig på att lära ut fakta – den är förlustbehäftad, dyr att uppdatera och benägen att hallucinera interpoleringar mellan tränings exemplen.
Tumregel: om gapet handlar om vad modellen känner till, använd retrieval. Om gapet handlar om hur modellen beter sig, överväg tuning. Kunskap förändras dagligen; beteenden förändras sällan.
# Knowledge -> retrieve at prompt time, do not bake into weights
def build_prompt(user_q, retriever):
docs = retriever.search(user_q, k=5)
context = '\n\n'.join(d.text for d in docs)
return (
'Answer using ONLY the context. Cite doc ids.\n'
'<context>\n' + context + '\n</context>\n'
'<question>' + user_q + '</question>'
)Stegen för promptoptimering
Innan ni slår fast att prompting inte räcker bör ni gå igenom hela stegen. De flesta team ger upp vid steg två:
- Steg 1: tydlig instruktion + roll + uttryckligt kontrakt för output
- Steg 2: few-shot-exempel som täcker gränsfall
- Steg 3: uppdelning i flera kedjade anrop
- Steg 4: verktygsanvändning eller retrieval för att avlasta kunskap och beräkningar
- Steg 5: självkritik eller verifieringspass
Först när ni har uttömt steg 1–5 med en separat utvärderingsmängd blir finjustering försvarbar.
Svarstid och straffet för långa promptar
Långa promptar kostar mer än pengar – de kostar tid. Indatatoken dominerar tiden till första token i många serving-stackar. En prompt med 4 000 token för instruktioner och exempel medför en mätbar svarstidskostnad vid varje anrop.
Detta är det enda område där prompting verkligen förlorar i stor skala: när ni både behöver beteendet hos en lång prompt och svar under 100 ms är det rätt att destillera beteendet till en liten finjusterad modell. Bekräfta dock att svarstidsbudgeten är verklig och inte bara antagen.
Total ägandekostnad
Fatta beslut utifrån TCO under artefaktens hela livslängd, inte utifrån den första fakturan. En finjusterad checkpoint medför dolda återkommande kostnader:
- Ny tuning när leverantören avvecklar basmodellen (ofta var 6–12:e månad)
- En datapipeline och en märkningsprocess som ni måste hålla igång
- Utvärderingsinfrastruktur för att upptäcka regressioner efter varje ny tuning
- Komplexitet kring versionshantering, återställning och A/B-serving
Promptings TCO består huvudsakligen av en textfil och en utvärderingsmängd. För team utan mogen ML Ops-verksamhet gör den asymmetrin ensam att prompting förblir det bättre alternativet mycket längre än väntat.
En checklista för beslutet
Prompting räcker när ni kan svara JA på de flesta av dessa frågor:
- Förändras uppgiftsspecifikationen fortfarande från månad till månad?
- Ligger volymen under den beräknade break-even-tröskeln?
- Handlar gapet om kunskap (som kan hämtas) snarare än beteende?
- Visar en separat utvärdering att prompting når acceptabel kvalitet efter att ni har gått igenom stegen?
- Har ni tillräcklig svarstidsbudget för promptens längd?
- Saknar teamet en underhållen pipeline för tuning och utvärdering?
Tre eller fler JA-svar innebär att ni bör fortsätta med prompting och bara ompröva beslutet när svaren förändras.
Ett konkret exempel på avvägningen
Uttryck beslutet som data, inte magkänsla. En liten poängfunktion tvingar teamet att uttryckligen ange antaganden om volym, svarstid och specifikationens stabilitet, och gör rekommendationen granskningsbar i efterhand.
def recommend(volume_per_month, breakeven, spec_stable, latency_critical):
score = 0
if volume_per_month < breakeven: score += 2 # favor prompting
if not spec_stable: score += 2 # spec moving -> prompt
if latency_critical and spec_stable: score -= 2 # tune for latency
return 'PROMPTING' if score >= 1 else 'CONSIDER_FINE_TUNING'
print(recommend(500_000, 13_000_000, spec_stable=False, latency_critical=False))
# PROMPTINGSnabb kontroll
Ett team vill att modellen ska besvara frågor om dokument som uppdateras dagligen. Vilken metod är lämpligast och varför?
Sammanfattning
Prompting är standardvalet; finjustering är nästa steg. Fortsätt med prompting medan specifikationen förändras, volymen ligger under break-even och gapet gäller kunskap snarare än beteende.
- Jämför kostnaderna för iteration, inferens och underhåll – inte bara kronor
- Beräkna volymens break-even innan ni antar att tuning sparar pengar
- Gå igenom hela stegen för promptoptimering innan ni slår fast att prompting inte räcker
- Hämta kunskap; reservera tuning för motsträviga beteenden eller promptkomprimering som drivs av svarstidskrav
- Bedöm TCO över hela livslängden, inklusive avveckling av basmodellen
Lär dig AI-promptteknik med en AI-lärare – gratis
Skriv och kör riktig kod i webbläsaren, få omedelbar hjälp av en AI-lärare dygnet runt och fortsätt där du slutade – på webben eller i appen.
- Kurser
- 53
- Lektioner
- 199
Vanliga frågor
Är lektionen ”När det räcker med promptning” gratis?
Ja – du kan läsa vilka 3 lektioner som helst i lärvägen AI-promptteknik, inklusive ”När det räcker med promptning”, kostnadsfritt i sin helhet här på webben. Därefter låser CoddyKit PRO upp alla lektioner, plus interaktiv övning med en inbyggd kodredigerare och en AI-lärare dygnet runt. Kursen i AI-promptteknik innehåller totalt 4 lektioner.
Vad lär jag mig i ”När det räcker med promptning”?
Avvägningar mellan kostnad och flexibilitet. Ni övar på AI-promptteknik med praktisk kod som körs direkt i webbläsaren, medan en AI-handledare som är tillgänglig dygnet runt svarar på Era frågor under lektionen.
Behöver jag någon erfarenhet för att börja lära mig AI-promptteknik?
Du behöver inga förkunskaper. Utbildningen i AI-promptteknik på CoddyKit är upplagd för allt från nybörjare till avancerade elever, så att du kan börja här eller från början och gå fram i din egen takt. Detta är lektion 1 av 4.
Hur lång tid tar lektionen ”När det räcker med promptning”?
De flesta CoddyKit-lektioner tar cirka 5–10 minuter. Varje lektion är kort och interaktiv, så att du gör stadiga framsteg och kan fortsätta precis där du slutade – på webben eller i appen.
Kan jag skriva och köra kod i den här AI-promptteknik-lektionen?
Ja. Varje AI-promptteknik-lektion innehåller en inbyggd kodredigerare, så att du kan skriva och köra riktig kod direkt i webbläsaren och få omedelbar AI-feedback – utan lokal installation.
Alla lektioner i den här kursen
- När det räcker med promptning
- När ska du finjustera
- Hybrid: promptning och lätt finjustering
- Utvärdera beslutet