Mengapa Nonlinearitas Membuka Kekuatan Nyata

Lapisan saraf hanyalah jumlah berbobot: lapisan ini menskalakan dan menggeser masukannya. Jika berdiri sendiri, operasi tersebut sepenuhnya linier. 📏

Inilah masalahnya: menumpuk dua lapisan linier hanya menghasilkan lapisan linier lainnya. Tidak peduli berapa banyak lapisan yang ditumpuk, hasilnya tetap satu garis lurus.

Dua langkah linier menyatu menjadi satu. Bobot gabungannya cukup berupa hasil kali dua matriks bobot, sehingga kedalaman tidak memberi manfaat apa pun di sini.

Fungsi aktivasi membengkokkan sinyal di antara lapisan. Tekukan kecil inilah yang mencegah lapisan menyatu menjadi satu lapisan saja.

Setelah Anda memasukkan nonlinieritas, setiap lapisan dapat membentuk ulang data dengan cara yang berbeda. Kini kedalaman benar-benar menambah kemampuan, bukan sekadar mengulangi pemetaan yang sama.

Dengan nonlinieritas, jaringan Anda dapat membentuk batas keputusan yang melengkung. Model linier biasa hanya dapat membuat pemisah lurus.

Neuron yang cukup, ditambah nonlinieritas, dapat mendekati hampir semua fungsi. Inilah gagasan terkenal tentang aproksimasi universal. ✨

Tempatkan aktivasi tepat setelah setiap lapisan linier, di dalam proses maju. Aktivasi mengubah keluaran lapisan sebelum dilihat oleh lapisan berikutnya.

Gambar, suara, dan bahasa merupakan pola yang sangat nonlinier. Hanya jaringan yang dapat membengkok yang berpeluang memodelkannya dengan baik.

Lupakan fungsi aktivasi, dan model dalam Anda yang canggih diam-diam berubah menjadi regresi linier tunggal yang menyamar. Kedalamannya menjadi sia-sia.

Biasanya Anda menerapkan aktivasi yang sama setelah setiap lapisan tersembunyi, lalu memilih aktivasi khusus pada keluaran agar sesuai dengan tugas Anda.

Lapisan linier yang ditumpuk tetap linier, sehingga tidak dapat memodelkan kurva. Menyisipkan nonlinieritas membuka kemampuan kedalaman dan memungkinkan jaringan mempelajari pola dunia nyata yang kaya. 🎯