Loss Adversarial

Setiap pemain GAN belajar dari loss yang menilai seberapa baik kinerjanya. Kedua loss bergerak ke arah yang berlawanan, dan inilah yang membuat pelatihan bersifat adversarial.

Pelatihan GAN adalah permainan min-max: diskriminator berusaha memaksimalkan skornya, sedangkan generator berusaha meminimalkannya. Tidak ada yang menang sepenuhnya.

Sebagian besar GAN mengukur setiap prediksi dengan binary cross-entropy, loss standar untuk keputusan ya atau tidak antara nyata dan palsu.

Pertama, diskriminator melihat gambar nyata dan seharusnya menyebutnya nyata. Loss nyata mendorong keluaran tersebut mendekati label 1.

Berikutnya, diskriminator menilai gambar hasil pembangkitan dan seharusnya menyebutnya palsu. Loss palsu mendorong keluaran tersebut mendekati label 0.

Saat memperbarui diskriminator, Anda memanggil detach pada data palsu agar gradien tidak mengalir kembali ke generator pada langkah ini.

Generator ingin hasil palsunya diberi label nyata, sehingga loss-nya membandingkan penilaian diskriminator terhadap data palsu dengan label 1.

Mengarahkan generator untuk memaksimalkan kemungkinan nyata, alih-alih hanya meminimalkan kemungkinan palsu, menghasilkan gradien awal yang lebih kuat. Inilah loss non-saturating.

Setiap putaran pelatihan melakukan dua pembaruan: pertama diskriminator dengan loss gabungannya, lalu generator dengan loss-nya sendiri. Urutan dan waktu berpengaruh.

Karena kedua jaringan berubah pada setiap langkah, masing-masing mengejar sasaran yang terus bergerak. Inilah sebabnya loss GAN naik turun, bukan menurun dengan mulus.

Pada GAN, loss yang menurun tidak berarti gambar menjadi lebih baik. Anda menilai kualitas dengan melihat sampel, bukan hanya dari angka loss. 👀

Anda telah melihat permainan min-max: cross-entropy membimbing kedua pemain, data palsu di-detach untuk penilai, dan sampel—bukan loss—menunjukkan kemajuan yang sebenarnya. 🎯