API-Kosten berechnen und prognostizieren

Die API-Kosten für LLM-Anwendungen können bei großer Skalierung überraschend hoch sein. Eine einzelne Anfrage, die mit 0,002 $ günstig erscheint, kostet bei 100.000 Ausführungen 200 $. Ohne Kostenprognosen und -überwachung können KI-Funktionen unerwartet hohe Cloud-Rechnungen verursachen, die Ihre gesamten Infrastrukturkosten in den Schatten stellen.

Die gute Nachricht ist, dass sich LLM-Kosten vor dem Senden einer Anfrage vollständig prognostizieren lassen: Sie kennen das Modell, können die Input-Tokens mit tiktoken zählen und die Anzahl der Output-Tokens anhand Ihrer Einstellung für max_tokens oder historischer Durchschnittswerte schätzen. Wenn Sie von Anfang an Kostenprognosen in Ihre Anwendung integrieren, vermeiden Sie unerwartete Abrechnungen.

OpenAI berechnet Input-Tokens und Output-Tokens getrennt, wobei die Ausgabe typischerweise 3–4 Mal mehr kostet. Die Preise variieren je nach Modell. Als Richtwert für 2025 (prüfen Sie stets die aktuelle Preisseite, da sich die Preise ändern):

• gpt-4o-mini: etwa 0,15 $ pro Million Input-Tokens, etwa 0,60 $ pro Million Output-Tokens
• gpt-4o: etwa 2,50 $ pro Million Input-Tokens, etwa 10,00 $ pro Million Output-Tokens
• text-embedding-3-small: etwa 0,02 $ pro Million Tokens

Der Kostenunterschied zwischen den Modellen ist enorm: gpt-4o ist pro Input-Token ungefähr 17-mal teurer als gpt-4o-mini. Die Modellauswahl ist Ihr größter Hebel zur Kostenkontrolle – beginnen Sie immer mit dem günstigsten Modell, das Ihre Qualitätsanforderungen erfüllt.

Erstellen Sie einen Kostenschätzer, den Sie vor dem Senden jeder Anfrage aufrufen. Er zählt die Input-Tokens mit tiktoken, schätzt die Anzahl der Output-Tokens anhand Ihres max_tokens-Parameters, ruft den modellabhängigen Preis ab und gibt die geschätzten Kosten in Dollar zurück. Rufen Sie ihn in der Entwicklung auf und protokollieren Sie die Ergebnisse, damit Sie ein Gefühl dafür entwickeln, wie viel verschiedene Anfragearten kosten.

Nach jedem API-Aufruf enthält das Antwortobjekt die tatsächlich verwendeten Tokenanzahlen. Extrahieren Sie diese, um die tatsächlichen Kosten zu protokollieren und mit Ihren Schätzungen zu vergleichen. Im Laufe der Zeit zeigt Ihnen die Abweichung zwischen den geschätzten und den tatsächlichen Output-Tokens, wie genau Sie die Nutzung prognostizieren. Die Protokolle liefern außerdem eine Kostenaufstellung nach Funktion oder Benutzersegment.

Sobald Sie die durchschnittlichen Kosten pro Anfrage und das erwartete Anfragevolumen kennen, ist die Prognose der monatlichen Kosten unkompliziert. Erstellen Sie eine Tabelle als Kostenmodell oder ein einfaches Python-Skript, mit dem Sie verschiedene Annahmen testen können: Was passiert, wenn sich die täglich aktiven Nutzer verdoppeln? Was passiert, wenn Sie eine Funktion hinzufügen, die pro Nutzeraktion 3 statt 1 API-Aufruf ausführt?

Der mit Abstand größte Hebel zur Kostensenkung ist die Verwendung des günstigsten Modells, das Ihre Qualitätsanforderungen erfüllt. Bei vielen Aufgaben liefert gpt-4o-mini vergleichbare Ergebnisse wie gpt-4o, ist aber etwa 17-mal günstiger. Bevor Sie standardmäßig das leistungsfähigste Modell verwenden, testen Sie das günstigere Modell mit Ihrer konkreten Aufgabe und wechseln Sie nur dann zum teureren Modell, wenn die Qualität unter Ihren Schwellenwert fällt.

Eine Strategie mit abgestuftem Routing ist noch effektiver: Klassifizieren Sie eingehende Anfragen nach ihrer Komplexität und leiten Sie einfache Anfragen an günstige Modelle und komplexe Anfragen an teure Modelle weiter. Selbst wenn Sie 70 % des Datenverkehrs an das günstige Modell und 30 % an das teure Modell weiterleiten, sparen Sie ungefähr 70 % Ihrer AI-Kosten.

Jedes Token in Ihrem Prompt kostet Geld. Ein ausführlicher System-Prompt, der ohne Bedeutungsverlust gekürzt werden könnte, erhöht Ihre API-Rechnung bei jeder Anfrage direkt. Ermitteln Sie die Token-Anzahl Ihrer Prompts und suchen Sie nach Möglichkeiten, die Formulierungen zu straffen. Ebenso lassen sich lange Few-Shot-Beispiele oft durch kürzere Entsprechungen ersetzen, ohne die Genauigkeit zu beeinträchtigen.

Bei RAG-Systemen ist der abgerufene Kontext häufig der größte Teil des Prompts. 10 große Textabschnitte zurückzugeben, wenn 3 gut ausgewählte kleinere ausreichen würden, verschwendet bei jeder Anfrage Tokens. Optimieren Sie den Abruf so, dass redundanter Kontext minimiert und gleichzeitig die Relevanz maximiert wird.

OpenAI bietet eine Batch API, die Anfragen asynchron verarbeitet und 50 % unter dem Standardpreis kostet. Wenn Ihr Anwendungsfall nicht lat-sensitiv ist – etwa Dokumentverarbeitung, nächtliche Analyseaufträge oder die Erstellung großer Mengen an Inhalten –, kann die Batch API Ihre Kosten bei minimalen Codeänderungen halbieren.

Batch-Anfragen werden als JSONL-Dateien eingereicht, innerhalb von 24 Stunden verarbeitet und die Ergebnisse anschließend über die API abgerufen. Das ist ideal für Vorverarbeitungspipelines, die nach einem Zeitplan ausgeführt werden und keine Echtzeitantworten benötigen.

Konfigurieren Sie immer Ausgabenlimits, um unkontrolliert steigende Kosten zu verhindern. Im OpenAI-Dashboard können Sie monatliche Ausgabenlimits festlegen, die den API-Zugriff sperren, sobald das Limit erreicht ist. Setzen Sie ein hartes Limit auf den maximal akzeptablen Betrag und ein weiches Limit auf 80 % dieses Werts, damit Sie vor Erreichen des harten Limits eine Warnung per E-Mail erhalten.

Implementieren Sie in Ihrem Anwendungscode ein Budget pro Nutzer oder Funktion, das in Ihrer Datenbank erfasst wird. Prüfen Sie das Budget vor jedem API-Aufruf und geben Sie einen Fehler zurück, wenn es ausgeschöpft ist. So verhindern Sie, dass ein einzelner Nutzer mit unkontrolliertem Verhalten oder ein Fehler in einem Batch-Auftrag innerhalb weniger Stunden Ihr gesamtes Monatskontingent verbraucht.

Der günstigste API-Aufruf ist derjenige, den Sie nie ausführen. Implementieren Sie Caching auf der Anwendungsebene, damit identische Anfragen aus dem Cache beantwortet werden, statt die API erneut aufzurufen. Selbst ein einfacher Redis-Cache, dessen Schlüssel auf dem SHA256-Hash des Prompts basiert, kann in einer Anwendung im Produktivbetrieb einen erheblichen Anteil redundanter Aufrufe vermeiden.

Bei Embeddings ist Caching besonders wirkungsvoll: Derselbe Text sollte nur einmal in ein Embedding umgewandelt werden. Speichern Sie Embeddings zusammen mit dem ursprünglichen Text als Schlüssel in Ihrer Vektordatenbank und prüfen Sie vor dem Aufruf der Embeddings API, ob bereits ein Embedding vorhanden ist. In einer RAG-Pipeline werden Dokument-Embeddings einmal bei der Indexierung berechnet und für jede Anfrage wiederverwendet, die diese Dokumente abruft.

Im Produktivbetrieb benötigen Sie einen Überblick über Ihre AI-Kosten, aufgeschlüsselt nach Funktion, Nutzer und Modell. Erstellen Sie ein Kosten-Dashboard, indem Sie die Token-Anzahl und zugehörige Metadaten (Nutzer-ID, Funktionsname, Modell) jedes API-Aufrufs in einer Zeitreihendatenbank protokollieren. Aggregieren Sie die Daten anschließend, um Fragen zu beantworten wie: Welche Funktion verursacht die höchsten Ausgaben? Verursachen Power-User unverhältnismäßig hohe Kosten? Steigen die Kosten pro Anfrage nach einer Änderung am Prompt?

Diese Transparenz ist entscheidend, um Optimierungsentscheidungen auf Grundlage von Daten zu treffen, statt zu raten, wo Kosten gesenkt werden können. Die meisten Unternehmen stellen fest, dass 20 % ihrer Funktionen für 80 % ihrer AI-Ausgaben verantwortlich sind. Die Optimierung dieser Funktionen hat daher eine überproportionale Wirkung.

Testen Sie Ihr Verständnis der Konzepte aus dem Bereich AI Engineering aus dieser Lektion.

In dieser Lektion haben Sie gelernt: API-Kosten lassen sich vor dem Senden prognostizieren, indem Sie mit tiktoken die Eingabe-Tokens zählen und die Ausgabe-Tokens schätzen, die Modellwahl ist der größte Kostenhebel – gpt-4o-mini kann bei geeigneten Aufgaben 17-mal günstiger als gpt-4o sein und Caching, Batching und Ausgabenlimits verhindern unkontrolliert steigende Kosten im Produktivbetrieb. Als Nächstes sehen wir uns Strategien für die Verwaltung langer Konversationen an, die das Kontextfenster überschreiten.