La regola della catena, layer dopo layer
Componga le derivate attraverso la rete
La regola della catena, layer dopo layer è una lezione Deep Learning Academy gratuita su CoddyKit. Questa è la lezione 1 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Deep Learning Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Deep Learning Academy include 4 lezioni in totale.
Una rete è composta da funzioni annidate
Una rete neurale è semplicemente un insieme di funzioni racchiuse l'una nell'altra: ogni layer passa il proprio output al successivo. La retropropagazione ha bisogno della derivata di tutta questa struttura.
La regola della catena in una riga
La chain rule stabilisce che la derivata di funzioni annidate è il prodotto delle derivate di ogni componente. Questo semplice principio è alla base di tutta la retropropagazione. ⛓️
dy/dx = dy/du * du/dxUna piccola composizione
Supponga che z dipenda da y e che y dipenda da x. Per calcolare come cambia z al variare di x, moltiplica dz/dy per dy/dx. Ogni collegamento trasmette la propria pendenza.
I layer sono collegamenti in una catena
Ogni layer è un collegamento. La loss si trova a un'estremità, l'input all'altra, e i gradienti risalgono collegamento dopo collegamento come una catena di moltiplicazioni.
Parta dalla loss
La retropropagazione inizia dalla loss e chiede: come cambia la loss se l'output di questo layer varia leggermente? La risposta è la prima derivata della catena.
Propaghi il gradiente all'indietro
Ogni layer riceve il gradiente dal layer precedente nella direzione della propagazione, lo moltiplica per la propria local derivative e passa il risultato al layer successivo verso l'input.
grad_below = grad_above * local_derivativeDerivata locale di un layer
Un layer deve conoscere solo la propria local derivative: come cambiano il suo output rispetto all'input e ai pesi. Non ha mai bisogno dell'intera rete contemporaneamente.
I pesi ricevono il proprio gradiente
In ogni layer, il gradiente in ingresso indica anche come cambia la loss rispetto ai weights di quel layer. È esattamente l'informazione che l'ottimizzatore userà per aggiornarli.
Perché l'ordine conta
Moltiplica le derivate nell'ordine reverse, dalla loss verso l'input. Il passaggio in avanti calcola i valori; quello all'indietro calcola come migliorarli.
Funziona a qualsiasi profondità
Aggiunga altri dieci layer e non cambia nulla: dovrà solo moltiplicare altri dieci local derivatives nella catena. La profondità non è un problema per la chain rule.
L'idea completa, in breve
La retropropagazione applica la chain rule layer by layer, dalla loss verso gli input, moltiplicando le pendenze locali per trovare il gradiente di ogni peso.
Controllo rapido
Verifichiamo la regola fondamentale.
Riepilogo
Una rete è composta da funzioni annidate, quindi la sua derivata è una chain di pendenze locali moltiplicate tra loro. La retropropagazione percorre questa catena dalla loss verso l'input. ⛓️
Domande Frequenti
La lezione «La regola della catena, layer dopo layer» è gratuita?
Sì — il testo completo di «La regola della catena, layer dopo layer» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Deep Learning Academy, passa a CoddyKit PRO. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa imparerò in «La regola della catena, layer dopo layer»?
Componga le derivate attraverso la rete Eserciti Deep Learning Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Deep Learning Academy?
Non è richiesta alcuna esperienza precedente. Deep Learning Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 1 di 4.
Quanto tempo richiede la lezione «La regola della catena, layer dopo layer»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Deep Learning Academy?
Sì. Ogni lezione Deep Learning Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- La regola della catena, layer dopo layer
- Il forward salva, il backward riutilizza
- Faccia il backprop di una piccola rete a mano
- Gradienti evanescenti ed esplosivi