Koşullu GAN'ler ve Stil Aktarımı

Sıradan bir GAN rastgele örnekler üretir; belirli bir sınıfı isteyemezsiniz. Bu derste koşullu üretim (cGANs), eşleşmemiş çeviri (CycleGAN) ve sinirsel stil aktarımı ele alınır.

Bir cGAN, hem üreticiye hem de ayırt ediciye bir koşul (örneğin bir sınıf etiketi) ekler. Artık etiketi gürültüyle birlikte vererek "7 üret" isteğinde bulunabilirsiniz.

Üretici, etiketi birleştirir (tek etkin kodlanmış veya gömülmüş) ve bunu gürültü vektörüyle bir araya getirir. Birleşik girdi, istenen sınıfa ait örnekler üretmesini sağlar.

Ayırt edici de etiketi alır; böylece yalnızca "bu gerçek mi?" sorusunu değil, "bu, bu sınıfa ait gerçek bir örnek mi?" sorusunu da değerlendirir. Bu, üreticiyi koşula uymaya zorlar.

Çoğu zaman eşleşmiş çiftlerimiz olmaz (örneğin aynı atın zebra hâli). CycleGAN, eşleşmemiş görüntüler kullanarak iki alan arasında çeviri yapar; hizalanmış örnekler olmadan attan zebrayı ve geri dönüşü öğrenir.

CycleGAN iki üretici kullanır: G: A to B ve F: B to A; her birinin kendine ait bir ayırt edicisi vardır. Birlikte, alanlar arasında her iki yönde de çeviri yaparlar.

Temel fikir şudur: A'yı B'ye çevirip yeniden A'ya döndürdüğünüzde özgün değer elde edilmelidir. Döngü tutarlılığı kaybı, eşlenmiş veriler olmadan eşlemeyi kısıtlayan F(G(a)) == a koşulunu zorunlu kılar.

Sinirsel stil aktarımı, bir görüntünün içeriğini başka bir görüntünün stiliyle birleştirir (örneğin Van Gogh tarafından resmedilmiş gibi görünen bir fotoğraf). Önceden eğitilmiş bir CNN'nin özelliklerini kullanarak çıktı görüntüsünü doğrudan eniyiler.

İçerik kaybı, derin CNN özellik haritalarını eşleştirerek çıktının üst düzey yapısını içerik görüntüsüne yakın tutar. Görüntüde ne olduğunu korur.

Stil, özellik kanalları arasındaki korelasyonları gösteren Gram matrisiyle yakalanır. Gram matrislerini eşleştirmek dokuları ve renkleri aktarır. Stil kaybı, çıktı görüntüsünün ve stil görüntüsünün Gram matrislerini karşılaştırır.

Toplam kayıp ağırlıklı bir toplamdır: alpha * content_loss + beta * style_loss. Ağırlıkları ayarlayarak sonucun içeriği ne ölçüde koruyacağıyla stili ne kadar güçlü benimseyeceği arasındaki dengeyi belirlersiniz.

Koşullu üretim bilginizi sınayın.

Denetimli üretim için cGANs'in sınıf etiketini üreticinin (ve ayırt edicinin) girdisine eklediğini, CycleGAN'in eşleşmemiş çeviri için döngü tutarlılığı kaybını kullandığını ve sinirsel stil aktarımının görüntüleri yeniden boyamak üzere içerik kaybını Gram matrisi stil kaybıyla birleştirdiğini öğrendiniz.