Kostenoptimierung für LLM-Aufrufe

Large Language Models (LLMs) sind leistungsfähig, ihre Nutzung ist jedoch mit Kosten verbunden. Diese Kosten hängen oft direkt von der Menge der verarbeiteten Daten ab.

Wenn Sie verstehen, wie LLMs bepreist werden, und intelligente Prompt-Engineering-Techniken anwenden, können Sie Ihre Betriebskosten deutlich senken.

Die meisten LLM-Anbieter rechnen auf Grundlage von Tokens ab. Ein Token ist nicht einfach nur ein Wort; es kann ein Wortbestandteil, ein einzelnes Zeichen oder sogar ein Leerzeichen sein.

• Eingabe-Tokens: Das sind die Tokens im Prompt, den Sie an das LLM senden.
• Ausgabe-Tokens: Das sind die Tokens, die das LLM als Antwort erzeugt.

Sowohl Eingabe- als auch Ausgabe-Tokens tragen zu den Gesamtkosten eines API-Aufrufs bei.

Stellen Sie es sich so vor: Jedes Zeichen in Ihrem Prompt und jedes Zeichen in der Antwort des LLM wird in Tokens umgewandelt. Die Gesamtzahl der Tokens wird anschließend mit einem bestimmten Tarif multipliziert.

Verschiedene LLM-Modelle und Anbieter haben unterschiedliche Token-Kosten. Neuere und leistungsfähigere Modelle haben pro Token oft höhere Tarife.

Eine der einfachsten Möglichkeiten, Kosten zu sparen, besteht darin, Ihre Prompts so prägnant wie möglich zu formulieren. Jedes unnötige Wort erhöht die Anzahl Ihrer Eingabe-Tokens.

• Füllwörter entfernen: „Bitte erstellen Sie mir freundlicherweise eine Zusammenfassung des folgenden Textes.“ wird zu „Fassen Sie den folgenden Text zusammen.“
• Direkte Anweisungen: Formulieren Sie Ihr Ziel klar und verzichten Sie auf übermäßige Höflichkeit oder eine lange Einleitung.

Wenn Sie mit großen Dokumenten arbeiten, sollten Sie wichtige Informationen vorher zusammenfassen oder extrahieren, bevor Sie sie an das LLM senden. Sie müssen nicht immer die gesamten Rohdaten übertragen.

Statt beispielsweise einen 5.000 Wörter langen Artikel zu senden, um eine einzige Frage zu stellen, könnten Sie zunächst ein günstigeres, kleineres Modell oder ein einfaches Skript verwenden, um relevante Absätze zu extrahieren, und dann ein größeres LLM nur mit diesen Absätzen prompten.

Uneindeutige oder offen formulierte Prompts können zu längeren, allgemeineren Antworten führen und dadurch die Anzahl der Ausgabe-Tokens erhöhen. Seien Sie konkret in Bezug auf das gewünschte Ergebnis.

Statt: „Erzählen Sie mir etwas über den Klimawandel.“

Versuchen Sie es mit: „Listen Sie drei häufige Ursachen des Klimawandels in Aufzählungspunkten auf.“

So lenken Sie das LLM zu einer kürzeren und fokussierteren Antwort.

LLM-Anbieter bieten eine Reihe von Modellen mit unterschiedlichen Fähigkeiten und Preisen an. Für jede Aufgabe das leistungsfähigste Modell zu verwenden, ist oft übertrieben und teuer.

• Verwenden Sie kleinere, schnellere und günstigere Modelle für einfache Aufgaben wie Datenextraktion oder Umformulierungen.
• Setzen Sie größere und teurere Modelle für komplexe Schlussfolgerungen, kreative Inhalte oder Aufgaben ein, die ein tiefes Verständnis erfordern.

Viele LLM-APIs ermöglichen das Festlegen eines Parameters max_tokens. Dadurch wird die maximale Länge der Antwort des LLM direkt begrenzt.

Selbst wenn Ihr Prompt perfekt ist, kann ein LLM trotzdem ausschweifen. Durch das Festlegen von max_tokens stellen Sie sicher, dass Sie nicht für übermäßig lange oder irrelevante Ausgaben bezahlen.

Vergleichen wir zwei Prompts für dasselbe Ziel:

Teurer Prompt: "Hallo, KI-Assistent! Ich hoffe, Sie haben einen schönen Tag. Könnten Sie mir bitte so freundlich sein und sagen, was die Hauptstadt Frankreichs ist? Ich würde mich sehr über eine ausführliche Erklärung ihrer Geschichte und kulturellen Bedeutung freuen, vielleicht über ein paar Absätze."

Schlanker Prompt: "Was ist die Hauptstadt Frankreichs? Antworten Sie nur mit dem Namen der Stadt."

Der schlanke Prompt reduziert sowohl die Eingabe- als auch die potenziellen Ausgabetokens deutlich und spart dadurch Kosten.

Sie entwerfen einen Prompt, um das Hauptthema aus einem langen Nachrichtenartikel zu extrahieren. Welche Strategie wäre am effektivsten, um die Kosten der LLM-API zu reduzieren?

Wir haben mehrere wichtige Strategien zur Optimierung der Kosten von LLM-APIs kennengelernt:

• Seien Sie prägnant: Entfernen Sie unnötige Wörter aus Ihren Prompts.
• Verarbeiten Sie Daten vor: Fassen Sie große Eingaben zusammen oder filtern Sie sie, bevor Sie sie in einem Prompt verwenden.
• Seien Sie spezifisch: Leiten Sie das LLM zu kurzen, zielgerichteten Antworten an.
• Wählen Sie mit Bedacht: Wählen Sie Modelle, die für die Komplexität der Aufgabe geeignet sind.
• Kontrollieren Sie die Ausgabe: Verwenden Sie Parameter wie max_tokens, um die Länge der Antwort zu begrenzen.

Mit diesen Techniken können Sie Ihre Interaktionen mit LLMs kostengünstiger und effizienter gestalten!