Fungsi Pengaktifan

Fungsi Pengaktifan

Fungsi pengaktifan ialah bahagian penting dalam rangkaian neural. Fungsi ini menentukan sama ada sesuatu neuron perlu diaktifkan berdasarkan masukan yang diterimanya.

Tanpa fungsi pengaktifan, rangkaian neural akan berkelakuan seperti model linear, lalu mengehadkan keupayaannya untuk mempelajari corak yang kompleks.

Jenis fungsi pengaktifan yang biasa termasuk:

• Sigmoid: Mengeluarkan nilai antara 0 hingga 1.
• ReLU (Unit Linear Diperbetulkan): Mengeluarkan masukan jika nilainya positif; jika tidak, 0.
• Softmax: Menukarkan keluaran kepada kebarangkalian untuk tugasan pengelasan.

Fungsi sigmoid memetakan sebarang nilai masukan kepada julat antara 0 dan 1, menjadikannya sesuai untuk pengelasan binari.

Formula:

σ(x) = 1 / (1 + e^(-x))

Fungsi ini mengecilkan masukan yang besar dan mengeluarkan nilai yang menghampiri 0 atau 1.

Fungsi ReLU (Unit Linear Diperbetulkan) ditakrifkan seperti berikut:

ReLU(x) = max(0, x)

Fungsi ini mengeluarkan 0 untuk masukan negatif dan nilai masukan itu sendiri untuk masukan positif. ReLU cekap dari segi pengiraan dan membantu menangani masalah kecerunan yang lenyap.

Fungsi softmax digunakan dalam lapisan keluaran untuk pengelasan berbilang kelas. Fungsi ini menukarkan skor mentah kepada kebarangkalian:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Semua nilai keluaran dinormalkan supaya jumlahnya menjadi 1.

Pemilihan fungsi pengaktifan bergantung pada tugasan:

• Sigmoid: Untuk pengelasan binari.
• ReLU: Untuk lapisan tersembunyi dalam rangkaian mendalam.
• Softmax: Untuk masalah pengelasan berbilang kelas.

Fungsi pengaktifan membolehkan rangkaian neural:

• Mempelajari corak kompleks yang bukan linear.
• Membezakan antara masukan secara berkesan.
• Menyesuaikan diri dengan pelbagai jenis data dan tugasan.

Antara masalahnya termasuk:

• Sigmoid: Boleh menyebabkan kecerunan yang lenyap semasa latihan.
• ReLU: Boleh menyebabkan 'neuron mati', iaitu sesetengah neuron berhenti belajar.
• Softmax: Memerlukan kos pengiraan yang tinggi untuk keluaran yang besar.

Dalam pelajaran ini, kami:

• Meneliti fungsi pengaktifan seperti Sigmoid, ReLU dan Softmax.
• Mempelajari peranan dan kes penggunaan fungsi tersebut dalam rangkaian neural.
• Membincangkan kelebihan dan cabarannya.

Seterusnya, kita akan membina rangkaian neural suapan hadapan yang ringkas dan memahami struktur serta cara rangkaian ini berfungsi.