Wann Fine-Tuning besser ist als Prompting

Schöpfen Sie immer zuerst alle Möglichkeiten des Promptings aus, bevor Sie Fine-Tuning einsetzen:

1. Besserer System-Prompt
2. Few-Shot-Beispiele
3. Tool-Beschreibungen
4. Besseres Modell
5. Strukturierte Ausgaben / Pydantic
6. RAG
7. ... ERST DANN Fine-Tuning

• Spezifisches Format / spezifischer Stil — Ihre maßgeschneiderte YAML-Ausgabesprache
• Enger Fachbereich — medizinische oder juristische Inhalte, Code-Reviews
• Latenz — kurze Prompts ohne Few-Shot-Beispiele ermöglichen eine schnellere Inferenz
• Kosten — kürzere Prompts bedeuten weniger abgerechnete Tokens
• Konsistente Persona — Charakterstimme oder Markenton

• Fakten vermitteln — RAG ist besser. Fine-Tuning-Modelle vergessen Fakten
• Allgemeines Schlussfolgern — Frontier-Modelle sind darin bereits hervorragend
• Häufige Aktualisierungen — erneutes Training dauert lange
• Winzige Datensätze — weniger als 100 Beispiele bewirken selten einen nennenswerten Unterschied

OpenAI und Anthropic bieten beide APIs für Fine-Tuning an:

Bei Llama, Mistral und Qwen kontrollieren Sie alles selbst. Tools:

• Unsloth — am schnellsten und mit geringem VRAM-Bedarf
• Axolotl — konfigurationsgesteuert und umfassend
• LLaMA-Factory — Alternative eines chinesischen Teams
• HuggingFace TRL — offiziell und flexibel

Zwei Ansätze:

• Vollständig — jedes Gewicht wird aktualisiert. Kostspielig, da sehr viel VRAM benötigt wird.
• PEFT / LoRA — kleine Adapter-Schichten werden trainiert. Hundertmal günstiger und bei den meisten Aufgaben von ähnlicher Qualität.

Ungefähre Angaben für Mitte 2025:

• Training: 0,003 $ pro 1.000 Tokens
• Inferenz mit dem getunten Modell: etwas teurer als mit dem Basismodell
• Zehntausende Beispiele: insgesamt 20–200 $ Trainingskosten

Eine Stunde auf 8×H100 kostet bei Lambda Labs etwa 100 $. Ein LoRA-Training von Llama 70B mit 10.000 Beispielen kostet insgesamt etwa 50–150 $.

• 50 Beispiele — nur für Stil oder Format nützlich
• 500 Beispiele — spürbare Verbesserungen
• 5.000 oder mehr Beispiele — deutlich neue Fähigkeiten
• 50.000 oder mehr Beispiele — abnehmender Nutzen im Verhältnis zur Qualität des Datensatzes

1. Produktionsspuren mit Korrekturen
2. Synthetische Generierung durch ein stärkeres Modell
3. Manuelle Kennzeichnung
4. Öffentliche Datensätze

Vergleichen Sie das getunte Modell immer anhand IHRES Eval-Sets mit dem Basismodell. Manchmal ist das Fine-Tuning schlechter – seien Sie bereit, es zu verwerfen.

Prompt zuerst; Fine-Tuning nur aus engen Format-, Stil- oder Domänengründen. Verwenden Sie PEFT/LoRA zur Kostensenkung. Führen Sie immer vorher und nachher eine Evaluation durch.