Benutzerdefinierte Tools und Plugins für LLMs

Willkommen zur letzten Lektion unseres Kurses „Advanced Prompting with Tool Use and Agents“! Heute beschäftigen wir uns mit benutzerdefinierten Tools und Plugins für Large Language Models (LLMs).

Benutzerdefinierte Tools ermöglichen es LLMs, über ihre Trainingsdaten hinauszugehen und mit der realen Welt oder bestimmten Systemen zu interagieren. Stellen Sie sie sich als besondere Fähigkeiten vor, die Sie einem LLM beibringen.

• Funktionen erweitern: Neue Funktionen hinzufügen.
• Echtzeitdaten abrufen: Aktuelle Informationen erhalten.
• Aktionen ausführen: Änderungen an externen Systemen vornehmen.

Sie haben grundlegende Funktionsaufrufe und API-Integration kennengelernt. Benutzerdefinierte Tools gehen noch einen Schritt weiter.

Auch wenn ein LLM möglicherweise von sich aus weiß, wie man „Text zusammenfasst“, weiß es nicht, wie man „das Wetter in London abfragt“, es sei denn, Sie stellen ihm dafür ein Tool zur Verfügung. Benutzerdefinierte Tools schließen diese Lücke, indem sie dem LLM spezifische externe Fähigkeiten verleihen, die nicht zu seiner zentralen Wissensbasis gehören.

Jedes benutzerdefinierte Tool benötigt eine klare Definition, damit das LLM weiß, wann und wie es verwendet werden soll. Zu den wichtigsten Bestandteilen gehören:

• Name: Eine eindeutige Kennung (z. B. get_current_time).
• Beschreibung: Erklärt, was das Tool tut und wann es verwendet werden soll. Dies ist entscheidend für die Entscheidungsfindung des LLM.
• Parameter: Eingaben, die das Tool für seine Funktion benötigt (z. B. timezone für ein Zeit-Tool).
• Erwartete Ausgabe: Welche Art von Informationen das Tool zurückgibt.

Um einem LLM ein benutzerdefiniertes Tool „beizubringen“, stellen wir seine Definition in einem strukturierten Format bereit, häufig als JSON-Schema. Dieses Schema teilt dem LLM alles mit, was es wissen muss, um das Tool korrekt aufzurufen.

Hier sehen Sie ein vereinfachtes Beispiel dafür, wie unser get_current_time-Tool beschrieben werden könnte:

Erstellen wir ein praktisches Beispiel: ein Tool namens get_current_time. Dieses Tool gibt einfach die aktuelle Zeit zurück, optional für eine angegebene Zeitzone.

Obwohl das LLM die Beschreibung aus dem Schema versteht, sind wir dafür verantwortlich, den eigentlichen Code zu schreiben, der die beschriebene Aktion ausführt. Dieser Code wird extern ausgeführt, wenn das LLM beschließt, das Tool aufzurufen.

Dieses Python-Codefragment zeigt, wie das get_current_time-Tool im Hintergrund aussehen könnte. Wenn das LLM das Tool aufruft, führt es diese Funktion aus (oder eine entsprechende Logik in der von Ihnen gewählten Sprache) und erhält das Ergebnis.

Führen Sie es aus, um die Ausgabe zu sehen!

So verwendet ein LLM typischerweise ein benutzerdefiniertes Tool:

1. Benutzer-Prompt: Sie stellen dem LLM eine Frage (z. B. „Wie spät ist es in New York?“).
2. Entscheidung des LLM: Das LLM analysiert Ihren Prompt und die verfügbaren Tool-Beschreibungen.
3. Tool-Aufruf: Wenn ein Tool relevant ist, erzeugt das LLM einen Tool-Aufruf (z. B. get_current_time(timezone="America/New_York")).
4. Ausführung: Ihr System führt den eigentlichen Tool-Code aus.
5. Ergebnis: Die Ausgabe des Tools wird an das LLM zurückgegeben.
6. LLM-Antwort: Das LLM verwendet die Ausgabe des Tools, um seine abschließende Antwort an Sie zu formulieren.

Wenn Sie ein LLM prompten, das Zugriff auf benutzerdefinierte Tools hat, weisen Sie es nicht ausdrücklich an, das Tool zu verwenden. Sie stellen einfach eine Frage, aus der sich der Bedarf für das Tool ergibt.

Die Fähigkeit des LLM, die Beschreibung des Tools zu verstehen, ist entscheidend. Eine gute Beschreibung hilft dem LLM, zum richtigen Zeitpunkt das richtige Tool auszuwählen.

• Prompt: "What is the current time right now?"
• LLM-Aktion: Ruft get_current_time() auf
• Tool-Ausgabe: "Current time in UTC: 2023-10-27 10:30:00 (UTC basis)"
• LLM-Antwort: "The current time is 10:30 AM UTC."

Benutzerdefinierte Tools eröffnen LLMs leistungsstarke Möglichkeiten:

• Domänenspezifität: LLMs Wissen vermitteln, das über ihr allgemeines Training hinausgeht.
• Echtzeitinteraktion: Auf aktuelle Informationen zugreifen (z. B. Aktienkurse und Wetterdaten).
• Handlungsfähige KI: LLMs in die Lage versetzen, Aktionen auszuführen (z. B. E-Mails zu senden und Termine zu buchen).
• Höhere Genauigkeit: Halluzinationen reduzieren, indem man sich auf faktische Tool-Ausgaben stützt.
• Modularität: Die LLM-Logik von Interaktionen mit externen Systemen getrennt halten.

Welche der folgenden Komponenten sind wesentliche Bestandteile der Definition eines benutzerdefinierten Tools für ein LLM?

In dieser Lektion haben wir benutzerdefinierte Tools und Plugins erkundet – eine leistungsstarke Möglichkeit, die Fähigkeiten von LLMs zu erweitern.

• Benutzerdefinierte Tools ermöglichen es LLMs, mit externen Systemen und Daten zu interagieren.
• Sie benötigen eine klare Definition (Name, Beschreibung und Parameter), häufig mithilfe eines JSON-Schemas.
• Sie implementieren die eigentliche Logik, die ausgeführt wird, wenn das LLM das Tool aufruft.
• Benutzerdefinierte Tools ermöglichen es LLMs, domänenspezifisches Wissen zu erlangen, auf Echtzeitdaten zuzugreifen und Aktionen auszuführen. Damit gehen sie über die einfache Textgenerierung hinaus.

Wenn Sie benutzerdefinierte Tools sicher beherrschen, können Sie wirklich intelligente und interaktive KI-Anwendungen entwickeln!