Von Autocomplete zu ChatGPT
Sie verfolgen die Entwicklung von der grundlegenden Textvorhersage bis zur modernen konversationellen KI und verstehen, wodurch sich LLMs von früheren NLP-Ansätzen unterscheiden.
Von Autocomplete zu ChatGPT ist eine kostenlose AI Engineering Academy-Lektion auf CoddyKit. Dies ist Lektion 1 von 4. Du kannst die komplette Lektion unten kostenlos lesen – dann übst du sie direkt im Browser mit einem integrierten Code-Editor und einem KI-Tutor rund um die Uhr. Sie ist Teil des AI Engineering Academy-Lernpfads, und dein Fortschritt wird über Web und CoddyKit-App synchronisiert. Der AI Engineering Academy-Kurs umfasst insgesamt 4 Lektionen.
The Origin of Text Prediction
Vor ChatGPT haben Computer das nächste Wort erraten, indem sie zählten, welche Wörter normalerweise auf andere folgen – ein N-Gramm-Modell. Schnell, aber ohne echtes Verständnis.
Recurrent Networks Enter the Scene
Als Nächstes kamen RNNs: Sie lasen Text Wort für Wort und trugen eine Erinnerung an das Vorhergehende mit sich. Schlauer als Zählen, aber langsam und vergesslich bei längeren Texten.
The Transformer Revolution of 2017
Im Jahr 2017 ermöglichte Googles Transformer es einem Modell, sich jedes Wort auf einmal statt nacheinander anzusehen. Dies ermöglichte ein enormes, schnelles Training – und treibt heute fast jedes LLM an. 🚀
GPT-1 Through GPT-3: Scaling Laws
OpenAIs GPT-Modelle wuchsen immer weiter – GPT-3 erreichte 175 Milliarden Parameter. Bei dieser Größe zeigten sich überraschende emergente Fähigkeiten, wie das Lösen von Rechenaufgaben, die ihm nie beigebracht wurden.
What Made ChatGPT Different from GPT-3
Das rohe GPT-3 ignorierte einen oft oder schwafelte. RLHF behob dieses Problem, indem Menschen Antworten bewerteten, wodurch das Modell lernte, Anweisungen zu befolgen – und ChatGPT war geboren.
The Chat Interface as a UX Breakthrough
Die wahre Magie von ChatGPT war das Chat-Interface. Es erinnerte sich an das Gespräch, sodass man einfach mit ihm sprechen konnte – und Millionen von Menschen konnten es sofort. 💬
LLMs vs Earlier NLP Approaches
Die alte NLP benötigte für jede Aufgabe ein neues Modell. Ein LLM ist ein einziges Allzweckmodell: Es kann übersetzen, zusammenfassen, programmieren und chatten – und das alles anhand einfacher Anweisungen.
Parameters, Weights, and Model Size
Parameter sind die Zahlen, die ein Modell während des Trainings lernt – sein Wissen. Mehr Parameter bedeuten intelligentere Antworten, aber auch höhere Kosten für die Ausführung jeder Anfrage.
Pre-training: Learning from the Internet
Ein LLM lernt während des Vortrainings: Es liest riesige Mengen an Text und prognostiziert einfach das nächste Wort. Aus dieser einen Aufgabe heraus eignet es sich Grammatik, Fakten und logisches Denken an.
The AI Landscape After ChatGPT
Nach ChatGPT war das Rennen eröffnet: Claude, Gemini, Llama und weitere. Jetzt lautet die eigentliche Frage nicht mehr „Kann KI das?“, sondern welches Modell, zu welchen Kosten und mit welchen Kompromissen.
Why AI Engineers Must Understand This History
Es zahlt sich aus, diese Geschichte zu kennen. Eine Weigerung sind RLHF-Leitplanken; eine selbstbewusst falsche Antwort ist eine Lücke in den Trainingsdaten. Das Verständnis des Warum hilft Ihnen, besser zu entwickeln.
Quick Check
Teste dein Verständnis der AI-Engineering-Konzepte aus dieser Lektion.
Lesson Recap
Rückblick: n-Grams und RNNs waren zuerst da, hatten aber ihre Grenzen, Transformers sorgten für die Skalierbarkeit von Modellen, und RLHF machte aus rohem GPT-3 ChatGPT. Als Nächstes: Wie Attention tatsächlich funktioniert. ✨
Häufig gestellte Fragen
Ist die Lektion „Von Autocomplete zu ChatGPT“ kostenlos?
Ja — der vollständige Text von „Von Autocomplete zu ChatGPT“ ist hier im Web kostenlos zu lesen. Um sie interaktiv zu üben (integrierter Code-Editor und 24/7 KI-Tutor) und den Rest des AI Engineering Academy-Kurses freizuschalten, upgrade auf CoddyKit PRO. Der AI Engineering Academy-Kurs umfasst insgesamt 4 Lektionen.
Was lerne ich in „Von Autocomplete zu ChatGPT“?
Sie verfolgen die Entwicklung von der grundlegenden Textvorhersage bis zur modernen konversationellen KI und verstehen, wodurch sich LLMs von früheren NLP-Ansätzen unterscheiden. Du übst AI Engineering Academy mit praktischem Code, den du direkt im Browser ausführst, und ein 24/7 KI-Tutor beantwortet deine Fragen während du die Lektion bearbeitest.
Brauche ich Erfahrung, um AI Engineering Academy zu starten?
Keine Vorkenntnisse erforderlich. AI Engineering Academy auf CoddyKit ist für Anfänger bis fortgeschrittene Lernende strukturiert, sodass du hier starten oder von Anfang an beginnen und in deinem eigenen Tempo voranschreiten kannst. Dies ist Lektion 1 von 4.
Wie lange dauert die Lektion „Von Autocomplete zu ChatGPT“?
Die meisten CoddyKit-Lektionen dauern etwa 5–10 Minuten. Jede ist kompakt und interaktiv, sodass du stetig Fortschritte machst und genau dort weitermachst, wo du aufgehört hast – im Web und in der App.
Kann ich in dieser AI Engineering Academy-Lektion Code schreiben und ausführen?
Ja. Jede AI Engineering Academy-Lektion enthält einen integrierten Code-Editor, sodass du echten Code direkt in deinem Browser schreibst und ausführst und sofort KI-Feedback erhältst — ohne lokale Einrichtung erforderlich.
Alle Lektionen in diesem Kurs
- Von Autocomplete zu ChatGPT
- Transformer und Attention in einfachen Worten
- Wie LLMs trainiert werden
- Fähigkeiten und Grenzen von LLMs