Strumenti e plugin personalizzati per gli LLM

Benvenuto/a alla lezione finale del corso «Prompting avanzato con utilizzo di strumenti e agenti»! Oggi approfondiremo gli strumenti personalizzati e i plugin per i Large Language Models (LLM).

Gli strumenti personalizzati consentono agli LLM di andare oltre i dati di addestramento e di interagire con il mondo reale o con sistemi specifici. Pensi a questi strumenti come a competenze speciali che insegna a un LLM.

• Estendere le funzionalità: Aggiungere nuove funzioni.
• Accedere ai dati in tempo reale: Ottenere informazioni aggiornate.
• Eseguire azioni: Apportare modifiche a sistemi esterni.

Ha imparato a conoscere le chiamate di funzione di base e l'integrazione con le API. Gli strumenti personalizzati fanno un ulteriore passo avanti.

Sebbene un LLM possa sapere intrinsecamente come «riassumere un testo», non sa come «controllare il meteo a Londra» a meno che non gli forniate uno strumento. Gli strumenti personalizzati colmano questa lacuna, fornendo all'LLM funzionalità specifiche ed esterne che non fanno parte della sua base di conoscenza fondamentale.

Ogni strumento personalizzato necessita di una definizione chiara, affinché l'LLM sappia quando e come utilizzarlo. I componenti principali includono:

• Nome: Un identificatore univoco (ad es., get_current_time).
• Descrizione: Spiega che cosa fa lo strumento e quando utilizzarlo. È fondamentale per il processo decisionale dell'LLM.
• Parametri: Gli input necessari allo strumento per funzionare (ad es., timezone per uno strumento che fornisce l'ora).
• Output previsto: Il tipo di informazioni restituite dallo strumento.

Per «insegnare» a un LLM a utilizzare uno strumento personalizzato, forniamo la relativa definizione in un formato strutturato, spesso uno schema JSON. Questo schema comunica all'LLM tutto ciò che deve sapere per richiamare correttamente lo strumento.

Ecco un esempio semplificato di come potrebbe essere descritto il nostro strumento get_current_time:

Creiamo un esempio pratico: uno strumento denominato get_current_time. Questo strumento restituirà semplicemente l'ora corrente, facoltativamente per un fuso orario specifico.

Sebbene l'LLM comprenda la descrizione (proveniente dallo schema), spetta a noi scrivere il codice effettivo che esegue l'azione descritta. Questo codice viene eseguito esternamente quando l'LLM decide di richiamare lo strumento.

Questo frammento di codice Python mostra come potrebbe apparire in background lo strumento get_current_time. Quando l'LLM richiama lo strumento, esegue questa funzione (o una logica simile nel linguaggio scelto) e ottiene il risultato.

Provi a eseguirlo per visualizzarne l'output!

Ecco come un LLM utilizza in genere uno strumento personalizzato:

1. Prompt dell'utente: Pone una domanda all'LLM (ad es., "Che ora è a New York?").
2. Decisione dell'LLM: L'LLM analizza il prompt e le descrizioni degli strumenti disponibili.
3. Chiamata dello strumento: Se uno strumento è pertinente, l'LLM genera una chiamata allo strumento (ad es., get_current_time(timezone="America/New_York")).
4. Esecuzione: Il Suo sistema esegue il codice effettivo dello strumento.
5. Risultato: L'output dello strumento viene restituito all'LLM.
6. Risposta dell'LLM: L'LLM utilizza l'output dello strumento per formulare la risposta finale.

Quando fornisce un prompt a un LLM che ha accesso a strumenti personalizzati, non deve dirgli esplicitamente di utilizzare lo strumento. È sufficiente porre una domanda che ne implichi la necessità.

La capacità dell'LLM di comprendere la descrizione dello strumento è fondamentale. Una buona descrizione aiuta l'LLM a scegliere lo strumento giusto al momento giusto.

• Prompt: "What is the current time right now?"
• Azione dell'LLM: Richiama get_current_time()
• Output dello strumento: "Current time in UTC: 2023-10-27 10:30:00 (UTC basis)"
• Risposta dell'LLM: "The current time is 10:30 AM UTC."

Gli strumenti personalizzati offrono agli LLM funzionalità potenti:

• Specificità del dominio: Fornire agli LLM conoscenze che vanno oltre il loro addestramento generale.
• Interazione in tempo reale: Accedere a informazioni aggiornate (ad es., quotazioni azionarie e condizioni meteorologiche).
• IA operativa: Consentire agli LLM di eseguire azioni (ad es., inviare e-mail e prenotare appuntamenti).
• Maggiore accuratezza: Ridurre le allucinazioni facendo affidamento su output basati sui fatti.
• Modularità: Mantenere separata la logica dell'LLM dalle interazioni con i sistemi esterni.

Quali dei seguenti sono componenti essenziali della definizione di uno strumento personalizzato per un LLM?

In questa lezione abbiamo esplorato gli strumenti personalizzati e i plugin, un metodo potente per estendere le funzionalità degli LLM.

• Gli strumenti personalizzati consentono agli LLM di interagire con sistemi e dati esterni.
• Richiedono una definizione chiara (nome, descrizione e parametri), spesso basata su uno schema JSON.
• È Lei a implementare la logica effettiva che viene eseguita quando l'LLM richiama lo strumento.
• Gli strumenti personalizzati consentono agli LLM di acquisire conoscenze specifiche del dominio, accedere a dati in tempo reale ed eseguire azioni, andando oltre la semplice generazione di testo.

Imparando a utilizzare gli strumenti personalizzati, potrà creare applicazioni di IA davvero intelligenti e interattive!