Kostnadsoptimering för LLM-anrop

Tänk så här: varje tecken i er prompt och varje tecken i LLM:ens svar omvandlas till tokens. Det totala antalet tokens multipliceras sedan med en specifik taxa.

Olika LLM-modeller och leverantörer har varierande tokenkostnader. Nyare och mer kapabla modeller har ofta högre pris per token.

Ett av de enklaste sätten att sänka kostnaderna är att göra era promptar så kortfattade som möjligt. Varje onödigt ord ökar antalet indatatokens.

• Ta bort utfyllnad: "Vänligen generera en sammanfattning åt mig av följande text." blir "Sammanfatta texten nedan."
• Direkta instruktioner: Ange ert mål tydligt utan överdriven artighet eller en lång inledning.

Om ni arbetar med stora dokument kan ni överväga att sammanfatta eller extrahera viktig information innan ni skickar den till LLM:en. Ni behöver inte alltid skicka alla rådata.

I stället för att skicka en artikel på 5 000 ord för att ställa en enda fråga kan ni först använda en billigare, mindre modell eller ett enkelt skript för att extrahera relevanta stycken och sedan skicka en prompt till en större LLM som bara innehåller dessa stycken.

Tvetydiga eller öppna promptar kan leda till längre och mer allmänna svar, vilket ökar antalet utdatokens. Var specifik med vad ni vill ha.

I stället för: "Berätta för mig om klimatförändringar."

Försök med: "Lista tre vanliga orsaker till klimatförändringar i punktform."

Detta leder LLM:en mot ett kortare och mer fokuserat svar.

LLM-leverantörer erbjuder en rad modeller med olika kapacitet och prisnivåer. Att använda den kraftfullaste modellen för varje uppgift är ofta överdimensionerat och dyrt.

• Använd mindre, snabbare och billigare modeller för enkla uppgifter som dataextraktion eller omformulering.
• Reservera större och dyrare modeller för komplexa resonemang, kreativ generering eller uppgifter som kräver djup förståelse.

Många LLM-API:er låter er ange parametern max_tokens. Detta begränsar direkt den maximala längden på LLM:ens svar.

Även om er prompt är perfekt kan en LLM ändå sväva ut. Genom att ange max_tokens behöver ni inte betala för alltför lång eller irrelevant utdata.

Jämför två promptar för samma mål:

Dyr prompt: "Hej, AI-assistent! Jag hoppas att ni har en bra dag. Skulle ni kunna vara så vänliga att tala om för mig vad Frankrikes huvudstad heter? Jag skulle verkligen uppskatta en detaljerad förklaring av dess historia och kulturella betydelse, kanske några stycken."

Avskalad prompt: "Vad heter Frankrikes huvudstad? Svara endast med stadens namn."

Den avskalade prompten minskar betydligt både antalet inmatningstoken och mängden potentiella utdatatoken, vilket sparar kostnader.

Vi har lärt oss flera viktiga strategier för att optimera kostnaderna för LLM-API:er:

• Var kortfattad: Ta bort onödiga ord från era promptar.
• Förbearbeta data: Sammanfatta eller filtrera stora indata innan ni skickar en prompt.
• Var specifik: Styr LLM:en mot korta och målinriktade svar.
• Välj med omsorg: Välj modeller som passar uppgiftens komplexitet.
• Kontrollera utdatat: Använd parametrar som max_tokens för att begränsa svarens längd.

Genom att tillämpa dessa tekniker kan ni göra era interaktioner med LLM:er mer kostnadseffektiva och effektiva!