Van autocomplete naar ChatGPT
U volgt de ontwikkeling van eenvoudige tekstvoorspelling naar moderne conversationele AI en begrijpt waarin LLM's verschillen van eerdere NLP-benaderingen.
Van autocomplete naar ChatGPT is een gratis AI Engineering Academy-les op CoddyKit. Dit is les 1 van 4. Je kunt de volledige les hieronder gratis lezen en daarna in de browser praktisch oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is. Deze les maakt deel uit van het leertraject AI Engineering Academy. Je voortgang wordt gesynchroniseerd op het web en in de CoddyKit-app. De cursus AI Engineering Academy bevat in totaal 4 lessen.
Het ontstaan van tekstvoorspelling
Voordat ChatGPT bestond, gokten computers het volgende woord door te tellen welke woorden meestal op andere woorden volgden — een n-grammodel. Snel, maar zonder echt begrip.
Terugkerende netwerken doen hun intrede
Daarna kwamen RNN's: ze lazen tekst woord voor woord en hielden bij wat eraan voorafging. Slimmer dan alleen tellen, maar traag en vergeetachtig bij lange teksten.
De Transformer-revolutie van 2017
In 2017 liet Google's Transformer een model elk woord tegelijk bekijken in plaats van één voor één. Daardoor werd grootschalige, snelle training mogelijk — en tegenwoordig werkt vrijwel elke LLM hiermee. 🚀
GPT-1 tot en met GPT-3: schaalwetten
De GPT-modellen van OpenAI bleven groeien — GPT-3 bereikte 175 miljard parameters. Op die schaal verschenen verrassende ontstane mogelijkheden, zoals wiskunde uitvoeren die het model nooit was aangeleerd.
Wat ChatGPT anders maakte dan GPT-3
Ruwe GPT-3 negeerde je vaak of bleef maar doorpraten. RLHF loste dat op doordat mensen antwoorden beoordeelden en het model leerden instructies te volgen — zo ontstond ChatGPT.
De chatinterface als doorbraak in gebruikerservaring
De echte magie van ChatGPT was de chatinterface. Het onthield het gesprek, zodat je er gewoon mee kon praten — en miljoenen mensen konden dat meteen. 💬
LLM's versus eerdere NLP-benaderingen
Bij oude NLP was voor elke taak een nieuw model nodig. Een LLM is één model voor algemene doeleinden: het kan vertalen, samenvatten, code schrijven en chatten — allemaal op basis van gewone instructies.
Parameters, gewichten en modelgrootte
Parameters zijn de getallen die een model tijdens de training leert — zijn kennis. Meer parameters leveren slimmere antwoorden op, maar maken elk verzoek ook duurder om uit te voeren.
Voortraining: leren van het internet
Een LLM leert tijdens de voortraining: het leest enorme hoeveelheden tekst en voorspelt alleen het volgende woord. Met die ene taak leert het grammatica, feiten en redeneren.
Het AI-landschap na ChatGPT
Na ChatGPT begon de race: Claude, Gemini, Llama en meer. De echte vraag is nu niet meer "kan AI dit?", maar welk model je kiest, tegen welke kosten en met welke compromissen.
Waarom AI-engineers deze geschiedenis moeten begrijpen
Deze geschiedenis kennen loont. Een weigering komt door de beveiligingsmaatregelen van RLHF; een zelfverzekerd fout antwoord wijst op een hiaat in de trainingsgegevens. Als je begrijpt waarom, kun je betere systemen bouwen.
Korte controle
Controleer of je de concepten uit deze les over AI-engineering begrijpt.
Samenvatting van de les
Samenvatting: n-grammen en RNN's kwamen eerst, maar waren beperkt; Transformers maakten opschaling mogelijk; en RLHF veranderde ruwe GPT-3 in ChatGPT. Hierna: hoe aandacht daadwerkelijk werkt. ✨
Leer Python met een AI-tutor — gratis
Schrijf echte code en voer die uit in je browser, krijg direct hulp van een AI-tutor die 24/7 beschikbaar is en ga verder waar je gebleven bent op het web of in de app.
- Cursussen
- 30
- Lessen
- 120
Veelgestelde vragen
Is de les “Van autocomplete naar ChatGPT” gratis?
Ja — de volledige tekst van “Van autocomplete naar ChatGPT” kun je hier gratis op het web lezen. Als je interactief wilt oefenen met een ingebouwde code-editor en een AI-begeleider die 24/7 beschikbaar is, en de rest van de cursus AI Engineering Academy wilt ontgrendelen, kun je upgraden naar CoddyKit PRO. De cursus AI Engineering Academy bevat in totaal 4 lessen.
Wat leer ik in “Van autocomplete naar ChatGPT”?
U volgt de ontwikkeling van eenvoudige tekstvoorspelling naar moderne conversationele AI en begrijpt waarin LLM's verschillen van eerdere NLP-benaderingen. Je oefent met AI Engineering Academy door code rechtstreeks in de browser uit te voeren. Een AI-begeleider die 24/7 beschikbaar is beantwoordt je vragen terwijl je de les doorwerkt.
Heb ik ervaring nodig om met AI Engineering Academy te beginnen?
Ervaring vooraf is niet nodig. AI Engineering Academy op CoddyKit is opgebouwd voor beginners tot gevorderden, zodat je hier of bij het begin kunt starten en in je eigen tempo kunt leren. Dit is les 1 van 4.
Hoe lang duurt de les “Van autocomplete naar ChatGPT”?
De meeste lessen van CoddyKit duren ongeveer 5–10 minuten. Elke les is kort en interactief, zodat je gestaag vooruitgaat en op het web en in de app precies verdergaat waar je was gebleven.
Kan ik code schrijven en uitvoeren in deze les over AI Engineering Academy?
Ja. Elke les over AI Engineering Academy bevat een ingebouwde code-editor, zodat je rechtstreeks in je browser echte code kunt schrijven en uitvoeren en direct feedback van AI krijgt — lokale installatie is niet nodig.
Alle lessen in deze cursus
- Van autocomplete naar ChatGPT
- Transformers en attention in begrijpelijke taal
- Hoe LLM's worden getraind
- Mogelijkheden en beperkingen van LLM's