Ridurre i risultati ricchi di token

Qualunque cosa restituisca lo strumento diventa parte del contesto del modello, e ogni carattere consuma token. Un output eccessivo ha un costo reale. 💸

Un blocco enorme può riempire la limitata finestra di contesto del modello, eliminando i messaggi precedenti e lasciando meno spazio per ragionare davvero.

Restituisca soltanto i campi di cui l'attività ha bisogno. Un risultato mirato aiuta il modello molto più del riversamento di un intero record grezzo.

Rimuova gli ID interni, i timestamp e i metadati che il modello non utilizzerà mai. Scelga solo le chiavi rilevanti prima di restituirle.

Per i risultati lunghi, restituisca una pagina con un cursore invece di migliaia di righe. Il modello potrà richiederne altre solo se necessario.

Imposti un limite rigido alla lunghezza del risultato e tronchi ciò che lo supera, così una query fuori controllo non potrà inondare il modello con megabyte di testo.

A volte un breve riepilogo è più utile dei dati grezzi, soprattutto per log o documenti in cui al modello serve solo il succo, non ogni riga.

Il JSON formattato e profondamente annidato spreca token. Una struttura compatta e piatta contiene gli stessi dati con molti meno caratteri.

Per i contenuti davvero voluminosi, restituisca un link a una risorsa che il modello possa leggere quando serve, invece di inserire l'intero payload in ogni chiamata.

Le stack trace lunghe consumano rapidamente i token. Restituisca un messaggio di errore breve e chiaro e conservi la traccia completa nei log lato server.

I risultati concisi fanno risparmiare budget e rendono il ragionamento più efficace. Una risposta mirata fornisce al modello esattamente ciò di cui ha bisogno, senza aggiunte.

Ha restituito solo i campi necessari, usato la paginazione, limitato le dimensioni, creato riepiloghi e delegato i dati voluminosi, così i risultati restano efficienti in termini di token. 🎯