Mode collapse e tecniche di stabilizzazione
Diagnostichi e corregga un addestramento instabile delle GAN
Mode collapse e tecniche di stabilizzazione è una lezione Deep Learning Academy gratuita su CoddyKit. Questa è la lezione 4 di 4. Puoi leggere la lezione completa qui gratuitamente — poi esercitati direttamente nel browser con un editor di codice integrato e un tutor IA disponibile 24/7. Fa parte del percorso di apprendimento Deep Learning Academy, e i tuoi progressi si sincronizzano tra il web e l'app CoddyKit. Il corso Deep Learning Academy include 4 lezioni in totale.
Gli ambiti GAN sono difficili da addestrare
Le GAN sono potenti, ma notoriamente fragili. Due reti che si inseguono possono oscillare, bloccarsi o collassare. Conoscere le modalità di fallimento Le farà risparmiare ore. 🧯
Che cos'è il mode collapse
Il mode collapse si verifica quando il generatore produce solo pochi output che riescono sistematicamente a ingannare il discriminatore, ignorando tutta la varietà dei dati reali.
Riconoscere il collasso
Se ne accorge quando tutti i campioni generati appaiono quasi identici, anche se il dataset reale è ricco e diversificato. La varietà è scomparsa.
Quando il discriminatore vince troppo rapidamente
Se il discriminatore diventa troppo forte troppo rapidamente, i suoi gradienti si esauriscono e il generatore smette di imparare. L'equilibrio tra i due è fondamentale.
Trucco: label smoothing
Il label smoothing attenua il target reale da 1.0 a circa 0.9. In questo modo il discriminatore resta più cauto e i suoi gradienti rimangono utili.
real_label = 0.9Trucco: aggiungere rumore all'input
Aggiungere un po' di rumore agli input del discriminatore rende il suo compito leggermente più difficile, stabilizza la dinamica dell'addestramento e riduce il collasso.
noisy = real + 0.05 * torch.randn_like(real)Trucco: regolare l'ottimizzatore
L'articolo sulla DCGAN usa Adam con un learning rate basso e beta1 impostato su 0.5. Queste impostazioni sono un punto di partenza affidabile.
Adam(params, lr=2e-4, betas=(0.5, 0.999))Trucco: diversità nel minibatch
Le feature del minibatch consentono al discriminatore di confrontare i campioni all'interno di un batch. Se appaiono tutti uguali, se ne accorge e penalizza direttamente il collasso.
Trucco: loss Wasserstein
La loss Wasserstein con penalità del gradiente fornisce segnali più uniformi della semplice cross-entropy, rendendo molto più facile addestrare le GAN notoriamente instabili.
Mantenere l'equilibrio tra i due
Punti a uno scontro equilibrato. Se una rete domina, la rallenti o aggiorni l'altra più spesso. L'equilibrio è più importante di qualunque singolo trucco.
Valutare anche la diversità
Una GAN sana produce immagini nitide e varie. Verifichi sempre che vettori latenti diversi producano output realmente diversi.
Verifica rapida
Riconoscere il sintomo è già metà della cura.
Riepilogo: stabilizzare le GAN
Ha imparato a riconoscere il mode collapse e a contrastarlo con label smoothing, rumore sull'input, Adam regolato e una coppia generatore-discriminatore equilibrata. 💪
Domande Frequenti
La lezione «Mode collapse e tecniche di stabilizzazione» è gratuita?
Sì — il testo completo di «Mode collapse e tecniche di stabilizzazione» è gratuito qui sul web. Per esercitarvi in modo interattivo (un editor di codice integrato e un tutor IA 24/7) e sbloccare il resto del corso Deep Learning Academy, passa a CoddyKit PRO. Il corso Deep Learning Academy include 4 lezioni in totale.
Cosa imparerò in «Mode collapse e tecniche di stabilizzazione»?
Diagnostichi e corregga un addestramento instabile delle GAN Eserciti Deep Learning Academy con codice pratico che esegui direttamente nel browser, e un tutor IA 24/7 risponde alle tue domande mentre lavori sulla lezione.
Ho bisogno di esperienza per iniziare Deep Learning Academy?
Non è richiesta alcuna esperienza precedente. Deep Learning Academy su CoddyKit è strutturato per principianti e studenti avanzati, quindi puoi iniziare da qui o dall'inizio e procedere al tuo ritmo. Questa è la lezione 4 di 4.
Quanto tempo richiede la lezione «Mode collapse e tecniche di stabilizzazione»?
La maggior parte delle lezioni CoddyKit richiede circa 5–10 minuti. Ogni lezione è breve e interattiva, quindi fai progressi costanti e riprendi esattamente da dove hai lasciato su web e app.
Posso scrivere ed eseguire codice in questa lezione Deep Learning Academy?
Sì. Ogni lezione Deep Learning Academy include un editor di codice integrato, quindi scrivi ed esegui codice reale direttamente nel tuo browser e ricevi feedback istantaneo dall'IA — nessuna configurazione locale necessaria.
Tutte le lezioni di questo corso
- Generatore e discriminatore: il gioco
- La loss avversaria
- Costruire una DCGAN
- Mode collapse e tecniche di stabilizzazione