Aktivointifunktiot

Aktivointifunktiot

Aktivointifunktiot ovat neuroverkkojen keskeinen osa. Ne määrittävät vastaanotetun syötteen perusteella, aktivoidaanko neuroni.

Ilman aktivointifunktioita neuroverkko toimisi lineaarisen mallin tavoin, mikä rajoittaisi sen kykyä oppia monimutkaisia malleja.

Yleisiä aktivointifunktioita ovat:

• Sigmoid: Tuottaa arvoja väliltä 0–1.
• ReLU (Rectified Linear Unit): Tuottaa syötteen, jos se on positiivinen, ja muussa tapauksessa arvon 0.
• Softmax: Muuntaa tulokset todennäköisyyksiksi luokittelutehtäviä varten.

Sigmoid-funktio muuntaa minkä tahansa syötearvon välille 0–1, joten se soveltuu binääriseen luokitteluun.

Kaava:

σ(x) = 1 / (1 + e^(-x))

Se rajoittaa suuret syötteet ja tuottaa arvoja, jotka ovat lähellä arvoa 0 tai 1.

ReLU-funktio (Rectified Linear Unit) määritellään seuraavasti:

ReLU(x) = max(0, x)

Se tuottaa negatiivisilla syötteillä arvon 0 ja positiivisilla syötteillä itse syötearvon. ReLU on laskennallisesti tehokas ja auttaa ratkaisemaan häviävien gradienttien ongelmaa.

Softmax-funktiota käytetään moniluokkaisen luokittelun tuloskerroksessa. Se muuntaa raakaskoorit todennäköisyyksiksi:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Kaikki tulosarvot normalisoidaan niin, että niiden summa on 1.

Aktivointifunktion valinta riippuu tehtävästä:

• Sigmoid: Binääriseen luokitteluun.
• ReLU: Syvien verkkojen piilokerroksiin.
• Softmax: Moniluokkaisiin luokitteluongelmiin.

Aktivointifunktiot mahdollistavat neuroverkkojen:

• Monimutkaisten, epälineaaristen mallien oppimisen.
• Syötteiden tehokkaan erottelun toisistaan.
• Sopeutumisen erityyppiseen dataan ja erilaisiin tehtäviin.

Ongelmia ovat esimerkiksi:

• Sigmoid: Saattaa aiheuttaa häviäviä gradientteja opetuksen aikana.
• ReLU: Saattaa johtaa niin sanottuihin kuolleisiin neuroneihin, jolloin jotkin neuronit lakkaavat oppimasta.
• Softmax: On laskennallisesti raskas suurten tulosmäärien yhteydessä.

Tässä oppitunnissa:

• Tutustuimme aktivointifunktioihin, kuten Sigmoid-, ReLU- ja Softmax-funktioihin.
• Opimme niiden rooleista ja käyttötapauksista neuroverkoissa.
• Käsittelimme niiden etuja ja haasteita.

Seuraavaksi rakennamme yksinkertaisen eteenpäinsyöttävän neuroverkon ja perehdymme sen rakenteeseen ja toimintaan.