Learning rate: troppo grande, troppo piccolo o perfetto
Il parametro più importante da regolare
Learning rate: troppo grande, troppo piccolo o perfetto è una lezione Deep Learning Academy gratuita su CoddyKit. Questa è la lezione 3 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Deep Learning Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Deep Learning Academy include 4 lezioni in totale.
La dimensione del passo
Il gradiente indica la direzione, ma quanto lontano bisogna andare? Il learning rate è il moltiplicatore che stabilisce la dimensione di ogni passo in discesa.
w = w - lr * gradUn’unica manopola fondamentale
Il learning rate è spesso l’impostazione più importante dell’addestramento. Se lo scegliete male, anche un modello perfetto non riuscirà a imparare.
lr = 0.01Troppo piccolo: si procede lentamente
Un learning rate minuscolo produce passi piccolissimi. La loss diminuisce, ma così lentamente che l’addestramento può durare a lungo o fermarsi prima di raggiungere la valle. 🐢
Troppo grande: si supera il punto ottimale
Un learning rate enorme produce salti così grandi da oltrepassare la valle e atterrare più in alto sul lato opposto. La loss oscilla o tende all’infinito.
Il segnale di divergenza
Se dopo alcuni passi la loss aumenta o diventa NaN, quasi sempre il learning rate è troppo grande. È il segnale più chiaro che dovete ridurlo.
La misura giusta: discesa regolare
Un buon learning rate fa diminuire la loss in modo costante e rapido, senza oscillazioni eccessive. La curva scende dolcemente e si stabilizza vicino al fondo.
Valori iniziali ragionevoli
Di solito non si procede per tentativi completamente casuali. Un learning rate iniziale comune è compreso tra 0.001 e 0.01; poi lo si regola in base all’andamento della curva della loss.
lr = 1e-3Osservate la curva della loss
Tracciare la loss nel tempo è la guida migliore. Una curva divergente indica di scegliere un valore più piccolo; una curva piatta, che cambia appena, indica che potete aumentarlo leggermente.
Interagisce con la dimensione del batch
Il learning rate corretto dipende da altre scelte, come la dimensione del batch e l’ottimizzatore. Se ne modificate una, potrebbe essere necessario regolare nuovamente il learning rate.
Gli scheduler lo modificano nel tempo
Potete anche ridurre il learning rate durante l’addestramento: usate passi ampi all’inizio, poi passi piccoli e attenti vicino al fondo per concludere con precisione.
Regolare i parametri è normale
Non esiste un valore migliore in assoluto, quindi provare diversi learning rate e confrontare le curve è una parte normale e prevista dell’addestramento di un modello.
Controllo rapido
Cosa accade con un learning rate troppo grande?
Riepilogo
Il learning rate stabilisce la dimensione del passo: se è troppo piccolo si procede lentamente, se è troppo grande si supera il punto ottimale e si diverge, mentre il valore giusto porta a una discesa regolare. Osservate la curva della loss e regolatelo. 🎯
Domande Frequenti
La lezione «Learning rate: troppo grande, troppo piccolo o perfetto» è gratuita?
Sì — il testo completo di «Learning rate: troppo grande, troppo piccolo o perfetto» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Deep Learning Academy, passa a CoddyKit PRO. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa imparerò in «Learning rate: troppo grande, troppo piccolo o perfetto»?
Il parametro più importante da regolare Eserciti Deep Learning Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Deep Learning Academy?
Non è richiesta alcuna esperienza precedente. Deep Learning Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 3 di 4.
Quanto tempo richiede la lezione «Learning rate: troppo grande, troppo piccolo o perfetto»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Deep Learning Academy?
Sì. Ogni lezione Deep Learning Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- La loss come paesaggio da percorrere in discesa
- I gradienti puntano in salita: faccia un passo nella direzione opposta
- Learning rate: troppo grande, troppo piccolo o perfetto
- Minimizzi una funzione a mano in Python