ReLU ja sen Leaky- ja GELU-sukulaiset
Oletusaktivointi ja nykyaikaiset muunnelmat
ReLU ja sen Leaky- ja GELU-sukulaiset on ilmainen Deep Learning Academy-oppitunti CoddyKitissä. Tämä on oppitunti 2/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Deep Learning Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.
Tutustukaa ReLUun
Suosituin aktivointi on ReLU: se säilyttää positiiviset arvot ja muuttaa jokaisen negatiivisen arvoksi nolla. Yksinkertainen ja nopea. ⚡
import torch.nn.functional as F
y = F.relu(x) # max(0, x), elementwiseMiksi se yleistyi
ReLU on laskennallisesti edullinen, ja sen gradientti on positiivisilla arvoilla selkeästi 1. Tämä pitää signaalit kulkemassa ja nopeuttaa syvien verkkojen opetusta.
Matematiikka
ReLU on yksinkertaisesti max(0, x). Positiiviset syötteet kulkevat suoraan läpi ja negatiiviset litistyvät nollaan. Siinä koko idea.
Kuolevan ReLUn ongelma
Jos neuroni tuottaa aina nollan, myös sen gradientti on nolla, joten se lakkaa oppimasta pysyvästi. Kutsumme tällaista neuronia kuolleeksi. 💀
Leaky ReLU pelastaa tilanteen
Leaky ReLU päästää negatiivisille arvoille läpi pienen kulmakertoimen täydellisen nollan sijaan. Tämä pieni vuoto pitää kuolleet neuronit elossa.
y = F.leaky_relu(x, negative_slope=0.01)Parametrinen ReLU
PReLU menee pidemmälle: se oppii negatiivisen kulmakertoimen opetuksen aikana sen sijaan, että se olisi ennalta määrätty. Verkko säätää vuodon itse.
Tutustukaa GELUun
GELU muuttaa ReLUn kulman pehmeäksi käyräksi. Se päästää syötteitä läpi sen perusteella, kuinka todennäköisesti niistä on hyötyä, eikä käytä jyrkkää rajausta.
y = F.gelu(x)Miksi transformerit pitävät GELUsta
Nykyiset mallit, kuten transformerit, suosivat GELUa, koska sen pehmeä muoto tuottaa loivempia gradientteja. Tämä tekee opetuksesta usein vakaampaa. 🤖
SiLU ja kumppanit
SiLU, josta käytetään myös nimeä Swish, kertoo syötteen omalla sigmoidillaan. GELUn tavoin se on pehmeä ja päihittää usein tavallisen ReLUn.
Järkevä oletusvalinta
Aloittakaa piilokerroksissa ReLUlla; se on nopea ja luotettava. Valitkaa Leaky ReLU tai GELU vasta, jos havaitsette kuolleita neuroneja tai haluatte lisää pehmeyttä.
Käyttäkää sitä kerroksena
Voitte lisätä nämä malliin moduuleina, ei vain funktioina. Näin ne on helppo ketjuttaa nn.Sequential-rakenteessa.
import torch.nn as nn
net = nn.Sequential(nn.Linear(4, 8), nn.ReLU())Pikatarkistus
Pohtikaa neuronia, joka päätyy aina negatiiviselle alueelle.
Kertaus
ReLU on nopea oletusvalinta, mutta se voi antaa neuronien kuolla. Leaky ReLU, PReLU ja GELU pehmentävät negatiivisia arvoja tai päästävät niistä osan läpi, jotta oppiminen pysyy toimivana. 🌟
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”ReLU ja sen Leaky- ja GELU-sukulaiset” ilmainen?
Kyllä – oppitunnin ”ReLU ja sen Leaky- ja GELU-sukulaiset” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Deep Learning Academy-kurssin, päivitä CoddyKit PROhon. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”ReLU ja sen Leaky- ja GELU-sukulaiset”?
Oletusaktivointi ja nykyaikaiset muunnelmat Harjoittelet Deep Learning Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni Deep Learning Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin Deep Learning Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 2/4.
Kuinka kauan ”ReLU ja sen Leaky- ja GELU-sukulaiset”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä Deep Learning Academy-oppitunnilla?
Kyllä. Jokainen Deep Learning Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Miksi epälineaarisuus vapauttaa todellisen tehon
- ReLU ja sen Leaky- ja GELU-sukulaiset
- Sigmoid ja Tanh: puristaminen välille
- Softmax todennäköisyyksille