Aktivointifunktiot

Sigmoid-funktio kuvaa minkä tahansa syötearvon välille 0–1, joten se sopii binääriseen luokitteluun.

Kaava:

σ(x) = 1 / (1 + e^(-x))

Se puristaa suuret syötteet ja tuottaa arvoja, jotka ovat lähellä arvoa 0 tai 1.

ReLU (Rectified Linear Unit) -funktio määritellään seuraavasti:

ReLU(x) = max(0, x)

Se tuottaa negatiivisilla syötteillä arvon 0 ja positiivisilla syötteen arvon sellaisenaan. ReLU on laskennallisesti tehokas ja auttaa ratkaisemaan häviävien gradienttien ongelmaa.

Softmax-funktiota käytetään moniluokkaisen luokittelun tulostekerroksessa. Se muuntaa raakapisteet todennäköisyyksiksi:

Softmax(x_i) = e^(x_i) / Σ(e^(x_j))

Kaikki tulostearvot normalisoidaan niin, että niiden summa on 1.

Aktivointifunktion valinta riippuu tehtävästä:

• Sigmoid: Binääriseen luokitteluun.
• ReLU: Syvien verkkojen piilokerroksiin.
• Softmax: Moniluokkaisiin luokitteluongelmiin.

Aktivointifunktiot mahdollistavat, että neuroverkot voivat:

• Oppia monimutkaisia epälineaarisia kuvioita.
• Erottaa syötteet tehokkaasti toisistaan.
• Mukautua erityyppiseen dataan ja erilaisiin tehtäviin.

Joihinkin ongelmiin kuuluvat:

• Sigmoid: Voi aiheuttaa häviäviä gradientteja opetuksen aikana.
• ReLU: Voi johtaa kuolleisiin neuroneihin, jolloin jotkin neuronit lakkaavat oppimasta.
• Softmax: On laskennallisesti kallis suurilla tulostemäärillä.

Tässä oppitunnissa:

• Tutustuimme aktivointifunktioihin, kuten Sigmoidiin, ReLUun ja Softmaxiin.
• Opimme niiden roolit ja käyttötapaukset neuroverkoissa.
• Käsittelimme niiden etuja ja haasteita.

Seuraavaksi rakennamme yksinkertaisen eteenpäin syöttävän neuroverkon ja perehdymme sen rakenteeseen ja toimintaan.