Da Autocomplete a ChatGPT
Ripercorrerà l'evoluzione dalla predizione di testo di base all'AI conversazionale moderna e comprenderà che cosa distingue gli LLM dagli approcci NLP precedenti.
Da Autocomplete a ChatGPT è una lezione AI Engineering Academy gratuita su CoddyKit. Questa è la lezione 1 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento AI Engineering Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso AI Engineering Academy include 4 lezioni in totale.
L'origine della previsione del testo
Prima di ChatGPT, i computer indovinavano la parola successiva contando quali parole seguivano più spesso le altre: un modello n-gram. Era veloce, ma non aveva una vera comprensione.
Entrano in scena le reti ricorrenti
Poi sono arrivate le RNN: leggevano il testo parola per parola e conservavano una memoria di ciò che veniva prima. Erano più intelligenti del semplice conteggio, ma lente e inclini a dimenticare i contenuti nei testi lunghi.
La rivoluzione dei Transformer del 2017
Nel 2017, il Transformer di Google ha permesso a un modello di analizzare tutte le parole contemporaneamente, invece di una alla volta. Questo ha reso possibile un addestramento enorme e veloce e alimenta quasi tutti gli LLM di oggi. 🚀
Da GPT-1 a GPT-3: le leggi dello scaling
I modelli GPT di OpenAI hanno continuato a crescere: GPT-3 ha raggiunto 175 miliardi di parametri. A quella scala sono comparse sorprendenti capacità emergenti, come eseguire calcoli matematici che non gli erano mai stati insegnati.
Che cosa ha reso ChatGPT diverso da GPT-3
Il GPT-3 grezzo spesso ignorava le richieste o divagava. RLHF ha risolto il problema permettendo alle persone di valutare le risposte e insegnando al modello a seguire le istruzioni: così è nato ChatGPT.
L'interfaccia chat come svolta nella UX
La vera magia di ChatGPT era l'interfaccia chat. Ricordava la conversazione, quindi si poteva semplicemente parlare con lui, e milioni di persone hanno potuto farlo immediatamente. 💬
Gli LLM rispetto ai precedenti approcci NLP
Il vecchio NLP richiedeva un nuovo modello per ogni attività. Un LLM è un modello general-purpose: può tradurre, riassumere, scrivere codice e conversare, tutto a partire da semplici istruzioni.
Parametri, pesi e dimensioni del modello
I parametri sono i numeri che un modello impara durante l'addestramento: rappresentano la sua conoscenza. Più parametri significano risposte più intelligenti, ma anche costi maggiori per elaborare ogni richiesta.
Pre-training: imparare da Internet
Un LLM impara durante il pre-training: legge enormi quantità di testo e si limita a prevedere la parola successiva. Partendo da questo unico compito, acquisisce grammatica, nozioni e capacità di ragionamento.
Il panorama dell'IA dopo ChatGPT
Dopo ChatGPT è iniziata la corsa: Claude, Gemini, Llama e altri ancora. Oggi la vera domanda non è più «l'IA è in grado di farlo?», ma quale modello scegliere, considerando costi e compromessi.
Perché gli ingegneri dell'IA devono conoscere questa storia
Conoscere questa storia è utile. Un rifiuto dipende dalle barriere di sicurezza di RLHF; una risposta sicura ma errata segnala una lacuna nei dati di addestramento. Capire le cause aiuta a costruire soluzioni migliori.
Verifica rapida
Verifichi la Sua comprensione dei concetti di AI Engineering presentati in questa lezione.
Riepilogo della lezione
Riepilogo: n-gram e RNN sono arrivati per primi, ma avevano dei limiti; i Transformer hanno permesso ai modelli di crescere; infine, RLHF ha trasformato il GPT-3 grezzo in ChatGPT. Prossimo argomento: come funziona davvero l'attention. ✨
Domande Frequenti
La lezione «Da Autocomplete a ChatGPT» è gratuita?
Sì — il testo completo di «Da Autocomplete a ChatGPT» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso AI Engineering Academy, passa a CoddyKit PRO. Il corso AI Engineering Academy include 4 lezioni in totale.
Cosa imparerò in «Da Autocomplete a ChatGPT»?
Ripercorrerà l'evoluzione dalla predizione di testo di base all'AI conversazionale moderna e comprenderà che cosa distingue gli LLM dagli approcci NLP precedenti. Eserciti AI Engineering Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare AI Engineering Academy?
Non è richiesta alcuna esperienza precedente. AI Engineering Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 1 di 4.
Quanto tempo richiede la lezione «Da Autocomplete a ChatGPT»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione AI Engineering Academy?
Sì. Ogni lezione AI Engineering Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Da Autocomplete a ChatGPT
- Transformer e meccanismi di attenzione spiegati in modo semplice
- Come vengono addestrati gli LLM
- Capacità e limiti degli LLM