Fähigkeiten und Grenzen von LLMs
Sie untersuchen, worin LLMs tatsächlich besonders gut sind und woran sie scheitern, darunter Halluzinationen, Wissensgrenzen und Einschränkungen beim Schlussfolgern, um realistische Erwartungen an Projekte zu entwickeln.
Fähigkeiten und Grenzen von LLMs ist eine kostenlose AI Engineering Academy-Lektion auf CoddyKit. Dies ist Lektion 4 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des AI Engineering Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der AI Engineering Academy-Kurs umfasst insgesamt 4 Lektionen.
What LLMs Genuinely Excel At
LLMs glänzen bei Sprachaufgaben: Zusammenfassen, Übersetzen, Code schreiben und Text in Formate wie JSON umwandeln. Gib ihnen ein paar Beispiele und sie erfassen das Muster schnell.
Hallucination: The Fundamental Failure Mode
Halluzination liegt vor, wenn ein Modell überzeugend etwas Falsches behauptet. Es sagt voraus, was plausibel klingt, nicht was wahr ist – vertraue ihm daher niemals als deiner einzigen Faktenquelle.
Knowledge Cutoffs and Outdated Information
Jedes Modell hat einen Wissensstand-Stichtag — nach diesem Datum weiß es nichts mehr. Für aktuelle Informationen füttern Sie es zum Abfragezeitpunkt mit frischen Dokumenten über RAG.
Reasoning Limits: Not a Logic Engine
LLMs imitieren zwar logisches Denken, sind aber keine echte Logik-Engine, weshalb sie bei exakter Mathematik und mehrstufiger Logik straucheln. Für präzise Aufgaben sollten sie an ein echtes Werkzeug übergeben werden – siehe den Code.
# Illustrating why you should use tools for computation
from openai import OpenAI
client = OpenAI()
# BAD: asking LLM to compute this directly
prompt_bad = 'What is 7.3% of 48,291.67?'
# GOOD: let Python compute, LLM just formats the answer
def calculate_percentage(value, pct):
return round(value * pct / 100, 2)
result = calculate_percentage(48291.67, 7.3)
print(f'7.3% of 48,291.67 is {result}') # 3525.29 - always correctContext Window as a Hard Constraint
Das Kontextfenster ist die maximale Anzahl an Tokens, die ein Modell auf einmal verarbeiten kann – bestehend aus Prompt, Verlauf und Ausgabe zusammen. Wird dieses überschritten, schlägt die Anfrage einfach fehl.
Sensitivity to Prompt Wording
LLMs reagieren empfindlich auf die Formulierung des Prompts. Eine kleine Umformulierung oder das Hinzufügen von „Denke Schritt für Schritt“ kann die Antwort stark verändern – das ist mächtig, erfordert aber sorgfältiges Testen.
Inconsistency and Non-Determinism
LLMs sind nicht-deterministisch: Derselbe Prompt kann unterschiedliche Antworten liefern. Ein zu 95 % richtiges Modell liegt immer noch in 1 von 20 Fällen falsch. Testen Sie daher anhand vieler Beispiele und nicht nur an wenigen.
import openai
client = openai.OpenAI()
def sample_with_majority_vote(prompt, n=5):
responses = []
for _ in range(n):
r = client.chat.completions.create(
model='gpt-4o-mini',
messages=[{'role': 'user', 'content': prompt}],
temperature=0.3,
max_tokens=10
)
responses.append(r.choices[0].message.content.strip())
# Return most common answer
return max(set(responses), key=responses.count)Sycophancy: Agreement Bias
Sycophancy (Speichelleckerei) liegt vor, wenn ein Modell dir selbst dann zustimmt, wenn du im Unrecht bist, weil die Tester zustimmende Antworten mochten. Für echte Kritik fordere es auf, die Gegenposition zu vertreten.
What LLMs Cannot Do
Einige Grenzen sind integriert: Ein LLM kann von sich aus weder im Internet surfen, Code ausführen, sich an vergangene Chats erinnern noch exakte Mathematik betreiben. Kombinieren Sie es für diese Aufgaben mit entsprechenden Werkzeugen.
Bias and Representation Issues
Da LLMs mit Internettexten trainiert wurden, übernehmen sie deren Vorurteile – Stereotype, unausgewogene Sprachabdeckung, verzerrte Ansichten. Testen Sie gruppenübergreifend und dokumentieren Sie die Grenzen für Ihre Nutzer.
Setting Realistic Expectations for Projects
Eine glänzende Demo kann bei echten Eingaben trotzdem scheitern. Das ist kein Grund, LLMs links liegen zu lassen – sondern der Grund, warum Sie von Tag eins an eine Evaluierung einbauen und Fehlschläge fortlaufend messen sollten.
Quick Check
Überprüfen Sie Ihr Verständnis der KI-Engineering-Konzepte aus dieser Lektion.
Lesson Recap
Zusammenfassung: Halluzinationen erfordern RAG oder Verifizierung, Wissensgrenzen erfordern Retrieval und Nicht-Determinismus erfordert eine echte Evaluierung. Als Nächstes: Ihr erster OpenAI-API-Aufruf. 🎉
Lerne Python mit einem KI-Tutor — kostenlos
Schreibe und führe echten Code in deinem Browser aus, bekomme sofortige Hilfe von einem 24/7 KI-Tutor und setze dein Lernen im Web oder in der App fort.
- Kurse
- 30
- Lektionen
- 120
Häufig gestellte Fragen
Ist die Lektion „Fähigkeiten und Grenzen von LLMs“ kostenlos?
Ja — der vollständige Text von „Fähigkeiten und Grenzen von LLMs“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des AI Engineering Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der AI Engineering Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Fähigkeiten und Grenzen von LLMs“?
Sie untersuchen, worin LLMs tatsächlich besonders gut sind und woran sie scheitern, darunter Halluzinationen, Wissensgrenzen und Einschränkungen beim Schlussfolgern, um realistische Erwartungen an Pr… Du übst AI Engineering Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um AI Engineering Academy zu starten?
Keine Vorkenntnisse erforderlich. AI Engineering Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 4 von 4.
Wie lange dauert die Lektion „Fähigkeiten und Grenzen von LLMs“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser AI Engineering Academy-Lektion Code schreiben und ausführen?
Ja. Jede AI Engineering Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Von Autocomplete zu ChatGPT
- Transformer und Attention in einfachen Worten
- Wie LLMs trainiert werden
- Fähigkeiten und Grenzen von LLMs