Ottimizzazione dei costi delle chiamate agli LLM

I Large Language Models (LLM) sono potenti, ma il loro utilizzo comporta dei costi. Spesso questi costi sono direttamente legati alla quantità di dati elaborati.

Comprendere i criteri di tariffazione degli LLM e applicare tecniche efficaci di prompt engineering può ridurre significativamente le spese operative.

La maggior parte dei fornitori di LLM applica una tariffa basata sui token. Un token non corrisponde necessariamente a una parola: può essere una parte di una parola, un singolo carattere o persino uno spazio.

• Token di input: Sono i token presenti nel prompt inviato all'LLM.
• Token di output: Sono i token generati dall'LLM nella risposta.

Sia i token di input sia quelli di output contribuiscono al costo totale di una chiamata API.

Immagini il processo in questo modo: ogni carattere del prompt e ogni carattere della risposta dell'LLM vengono convertiti in token. Il numero totale di token viene quindi moltiplicato per una tariffa specifica.

Modelli LLM e fornitori diversi applicano costi per token differenti. I modelli più recenti e capaci hanno spesso tariffe per token più elevate.

Uno dei modi più semplici per risparmiare sui costi consiste nel rendere i prompt il più concisi possibile. Ogni parola non necessaria aumenta il numero di token di input.

• Eliminare i riempitivi: "Per favore, generi gentilmente un riepilogo del testo seguente." diventa "Riassuma il testo seguente."
• Istruzioni dirette: Indichi chiaramente l'obiettivo, senza eccessiva cortesia o preamboli.

Se lavora con documenti di grandi dimensioni, valuti la possibilità di riassumere o estrarre le informazioni chiave prima di inviarli all'LLM. Non è sempre necessario inviare tutti i dati grezzi.

Ad esempio, invece di inviare un articolo di 5.000 parole per porre una domanda, potrebbe utilizzare prima un modello più economico e di dimensioni ridotte, oppure un semplice script per estrarre i paragrafi pertinenti, e poi fornire a un LLM più grande un prompt contenente soltanto quei paragrafi.

Prompt ambigui o aperti possono generare risposte più lunghe e generiche, aumentando il numero di token di output. Sia specifico/a riguardo a ciò che desidera.

Anziché: "Mi parli del cambiamento climatico."

Provi: "Elenchi tre cause comuni del cambiamento climatico in punti elenco."

In questo modo indirizza l'LLM verso una risposta più breve e mirata.

I provider di LLM offrono una vasta gamma di modelli con capacità e prezzi diversi. Utilizzare il modello più potente per ogni attività è spesso eccessivo e costoso.

• Utilizzi modelli più piccoli, veloci ed economici per attività semplici, come l'estrazione di dati o la riformulazione.
• Riservi i modelli più grandi e costosi al ragionamento complesso, alla generazione creativa o alle attività che richiedono una comprensione approfondita.

Molte API per LLM consentono di impostare un parametro max_tokens. Questo limita direttamente la lunghezza massima della risposta dell'LLM.

Anche quando il prompt è perfetto, un LLM potrebbe comunque dilungarsi. Impostare max_tokens evita di pagare per un output eccessivamente lungo o non pertinente.

Confrontiamo due prompt per lo stesso obiettivo:

Prompt dispendioso: "Salve, assistente AI! Spero che stia trascorrendo una splendida giornata. Potrebbe gentilmente dirmi qual è la capitale della Francia? Le sarei molto grato se fornisse una spiegazione dettagliata della sua storia e della sua importanza culturale, magari di qualche paragrafo."

Prompt essenziale: "Qual è la capitale della Francia? Risponda esclusivamente con il nome della città."

Il prompt essenziale riduce significativamente sia i token di input sia quelli potenzialmente generati in output, consentendo di risparmiare.

Sta progettando un prompt per estrarre l'argomento principale da un lungo articolo di giornale. Quale strategia sarebbe più efficace per ridurre i costi dell'API LLM?

Abbiamo appreso diverse strategie fondamentali per ottimizzare i costi delle API per LLM:

• Sia conciso: elimini le parole non necessarie dai prompt.
• Pre-elabori i dati: riassuma o filtri gli input di grandi dimensioni prima di inserirli nel prompt.
• Sia specifico: guidi l'LLM verso risposte brevi e mirate.
• Scelga con attenzione: selezioni modelli adeguati alla complessità dell'attività.
• Controlli l'output: utilizzi parametri come max_tokens per limitare la lunghezza della risposta.

Applicando queste tecniche, può rendere le interazioni con il suo LLM più economiche ed efficienti!