Prediksi Derau dengan U-Net

Pada setiap langkah mundur, satu jaringan melakukan sebagian besar pekerjaan. Tugasnya sederhana: melihat gambar berderau dan memprediksi derau di dalamnya.

Difusi hampir selalu menggunakan U-Net, karena ukurannya sama antara keluaran dan masukan: gambar berderau masuk, peta derau keluar.

Encoder memperkecil resolusi gambar dan menangkap struktur gambaran besar, seperti bentuk dan tata letak, pada resolusi yang lebih kecil.

Decoder kemudian memperbesar kembali gambar ke ukuran penuh dan membangun ulang detail halus agar derau yang diprediksi sejajar piksel demi piksel.

Bentuk U berasal dari koneksi lompatan yang meneruskan detail dari encoder ke decoder, sehingga tepi yang tajam tetap bertahan setelah penyusutan.

U-Net juga memerlukan langkah waktu t agar mengetahui apakah pada tahap ini harus menghilangkan banyak derau atau hanya sedikit.

Langkah waktu tersebut diubah menjadi sebuah vektor yang disebut embedding waktu, lalu dicampurkan ke lapisan jaringan sebagai sinyal pengondisian.

Banyak U-Net menambahkan perhatian pada resolusi terendah, sehingga wilayah gambar yang berjauhan dapat mengoordinasikan isinya.

Pelatihan membandingkan derau yang diprediksi dengan derau sebenarnya menggunakan kerugian MSE sederhana. Satu tujuan itu sudah cukup.

Satu U-Net menangani semua langkah waktu. Masukan t memberi tahu jaringan seberapa kuat penghilangan derau yang harus dilakukan saat ini.

Prediksi derau, kurangi sebagian darinya, lalu masukkan kembali hasilnya. Pengulangan inilah yang membuat U-Net bergerak menuju gambar yang bersih. 🖼️

U-Net memprediksi derau pada setiap langkah, menggunakan koneksi lompatan untuk mempertahankan detail dan embedding waktu untuk mengukur langkah waktu. Satu kerugian MSE melatih semuanya. 🎉