Fungsi Aktivasi

Fungsi aktivasi merupakan bagian penting dari jaringan saraf. Fungsi ini menentukan apakah sebuah neuron harus diaktifkan berdasarkan masukan yang diterimanya.

Tanpa fungsi aktivasi, jaringan saraf akan berperilaku seperti model linear sehingga kemampuannya untuk mempelajari pola kompleks menjadi terbatas.

Jenis Fungsi Aktivasi

Jenis fungsi aktivasi yang umum meliputi:

• Sigmoid: Menghasilkan nilai antara 0 dan 1.
• ReLU (Unit Linear Terpotong): Menghasilkan masukan jika nilainya positif, atau 0 jika tidak.
• Softmax: Mengubah keluaran menjadi probabilitas untuk tugas klasifikasi.

Fungsi Sigmoid

Fungsi sigmoid memetakan nilai masukan apa pun ke rentang antara 0 dan 1 sehingga cocok untuk klasifikasi biner.

Rumus:

σ(x) = 1 / (1 + e^(-x))

Fungsi ini memampatkan masukan yang besar dan menghasilkan nilai yang mendekati 0 atau 1.

Fungsi ReLU

Fungsi ReLU (Unit Linear Terpotong) didefinisikan sebagai:

ReLU(x) = max(0, x)

Fungsi ini menghasilkan 0 untuk masukan negatif dan nilai masukan itu sendiri untuk masukan positif. ReLU efisien secara komputasi dan membantu mengatasi masalah gradien yang menghilang.

Fungsi Softmax

Fungsi Softmax digunakan pada lapisan keluaran untuk klasifikasi multikelas. Fungsi ini mengubah skor mentah menjadi probabilitas:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Semua nilai keluaran dinormalisasi sehingga jumlahnya menjadi 1.

Memilih Fungsi Aktivasi yang Tepat

Pemilihan fungsi aktivasi bergantung pada tugasnya:

• Sigmoid: Untuk klasifikasi biner.
• ReLU: Untuk lapisan tersembunyi dalam jaringan dalam.
• Softmax: Untuk masalah klasifikasi multikelas.

Kelebihan Fungsi Aktivasi

Fungsi aktivasi memungkinkan jaringan saraf untuk:

• Mempelajari pola kompleks dan nonlinier.
• Membedakan berbagai masukan secara efektif.
• Beradaptasi dengan berbagai jenis data dan tugas.

Tantangan Fungsi Aktivasi

Beberapa masalah yang dapat muncul meliputi:

• Sigmoid: Dapat menyebabkan gradien menghilang selama pelatihan.
• ReLU: Dapat menyebabkan neuron mati, yaitu kondisi ketika beberapa neuron berhenti belajar.
• Softmax: Mahal secara komputasi untuk keluaran berukuran besar.

Ringkasan dan Langkah Berikutnya

Dalam pelajaran ini, kita:

• Mempelajari fungsi aktivasi seperti Sigmoid, ReLU, dan Softmax.
• Memahami peran dan penggunaan fungsi tersebut dalam jaringan saraf.
• Membahas kelebihan dan tantangannya.

Selanjutnya, kita akan membangun jaringan saraf umpan maju sederhana dan memahami struktur serta cara kerjanya.