Fungsi Aktivasi

Fungsi aktivasi merupakan bagian penting dari jaringan saraf. Fungsi ini menentukan apakah sebuah neuron harus diaktifkan berdasarkan masukan yang diterimanya.

Tanpa fungsi aktivasi, jaringan saraf akan berperilaku seperti model linear sehingga kemampuannya untuk mempelajari pola kompleks menjadi terbatas.

Jenis Fungsi Aktivasi

Jenis fungsi aktivasi yang umum meliputi:

• Sigmoid: Menghasilkan nilai antara 0 dan 1.
• ReLU (Unit Linear Terpenyekat): Menghasilkan masukan jika nilainya positif, dan 0 jika tidak.
• Softmax: Mengubah keluaran menjadi probabilitas untuk tugas klasifikasi.

Fungsi Sigmoid

Fungsi sigmoid memetakan nilai masukan apa pun ke rentang antara 0 dan 1 sehingga cocok untuk klasifikasi biner.

Rumus:

σ(x) = 1 / (1 + e^(-x))

Fungsi ini memampatkan masukan besar dan menghasilkan nilai yang mendekati 0 atau 1.

Fungsi ReLU

Fungsi ReLU (Unit Linear Terpenyekat) didefinisikan sebagai:

ReLU(x) = max(0, x)

Fungsi ini menghasilkan 0 untuk masukan negatif dan nilai masukan itu sendiri untuk masukan positif. ReLU efisien secara komputasi dan membantu mengatasi masalah gradien yang menghilang.

Fungsi Softmax

Fungsi softmax digunakan pada lapisan keluaran untuk klasifikasi multikelas. Fungsi ini mengubah skor mentah menjadi probabilitas:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Semua nilai keluaran dinormalisasi sehingga jumlahnya menjadi 1.

Memilih Fungsi Aktivasi yang Tepat

Pemilihan fungsi aktivasi bergantung pada tugasnya:

• Sigmoid: Untuk klasifikasi biner.
• ReLU: Untuk lapisan tersembunyi dalam jaringan mendalam.
• Softmax: Untuk masalah klasifikasi multikelas.

Keunggulan Fungsi Aktivasi

Fungsi aktivasi memungkinkan jaringan saraf untuk:

• Mempelajari pola kompleks dan nonlinier.
• Membedakan berbagai masukan secara efektif.
• Beradaptasi dengan berbagai jenis data dan tugas.

Tantangan pada Fungsi Aktivasi

Beberapa masalahnya meliputi:

• Sigmoid: Dapat menyebabkan gradien menghilang selama pelatihan.
• ReLU: Dapat menyebabkan 'neuron mati', yaitu beberapa neuron berhenti belajar.
• Softmax: Mahal secara komputasi untuk keluaran berukuran besar.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita:

• Mengeksplorasi fungsi aktivasi seperti Sigmoid, ReLU, dan Softmax.
• Mempelajari peran dan kasus penggunaan fungsi tersebut dalam jaringan saraf.
• Membahas keunggulan dan tantangannya.

Selanjutnya, kita akan membangun jaringan saraf umpan maju sederhana dan memahami struktur serta cara kerjanya.