Mod Çökmesi ve Kararlılaştırma Yöntemleri

GAN'ler güçlüdür ancak herkesçe bilindiği üzere oldukça hassastır. Birbirini kovalayan iki ağ salınım yapabilir, durabilir veya çökebilir. Arıza biçimlerini bilmek size saatler kazandırır. 🧯

Mod çökmesi, üreticinin gerçek verilerin tüm çeşitliliğini göz ardı edip yalnızca değerlendiriciyi güvenilir biçimde kandıran birkaç çıktı üretmesiyle gerçekleşir.

Gerçek veri kümeniz zengin ve çeşitli olmasına rağmen üretilen örneklerin tümü neredeyse aynı göründüğünde bunu fark edersiniz. Çeşitlilik ortadan kalkmıştır.

Ayrımcı çok hızlı güçlenirse gradyanları tükenir ve üretici öğrenmeyi bırakır. İkisi arasındaki denge her şeydir.

Etiket yumuşatma, gerçek hedefi 1.0'dan yaklaşık 0.9'a indirerek yumuşatır. Bu, ayrımcının ölçülü kalmasını ve gradyanlarının işe yaramasını sağlar.

Ayrımcının girdilerine biraz gürültü eklemek, görevini biraz zorlaştırır; böylece eğitim süreci dengelenir ve çökme azalır.

DCGAN makalesinde, düşük öğrenme oranına ve 0.5 olarak ayarlanmış beta1'e sahip Adam kullanılır. Bu ayarlar güvenilir bir başlangıç noktasıdır.

Mini grup özellikleri, ayrımcının bir grup içindeki örnekleri karşılaştırmasını sağlar. Hepsi aynı görünüyorsa bunu fark eder ve çökmeyi doğrudan cezalandırır.

Gradyan cezasına sahip Wasserstein kaybı, basit çapraz entropiden daha yumuşak sinyaller verir ve herkesçe bilinen kararsız GAN'leri çok daha kolay eğitilebilir hâle getirir.

Adil bir mücadele hedefleyin. Ağlardan biri baskınsa onu yavaşlatın veya diğerini daha sık güncelleyin. Denge, tek bir hileden daha etkilidir.

Sağlıklı bir GAN hem keskin hem de çeşitli görüntüler üretir. Farklı gizli vektörlerin gerçekten farklı çıktılar verdiğini her zaman kontrol edin.

Mod çökmesini fark etmeyi ve bununla etiket yumuşatma, girdi gürültüsü, ayarlanmış Adam ve dengeli bir üretici-ayrımcı ikilisiyle mücadele etmeyi öğrendiniz. 💪