Gradientit osoittavat ylämäkeen – astukaa siis toiseen suuntaan
Käyttäkää kaltevuutta painojen parantamiseen
Gradientit osoittavat ylämäkeen – astukaa siis toiseen suuntaan on ilmainen Deep Learning Academy-oppitunti CoddyKitissä. Tämä on oppitunti 2/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Deep Learning Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.
Kaltevuuden tulkitseminen
Jotta voitte kulkea alamäkeen, teidän on ensin tiedettävä, missä alamäki on. Gradientti on työkalu, joka kertoo häviön kaltevuuden nykyisessä sijainnissanne.
Gradientti osoittaa ylämäkeen
Tässä on yllätys: gradientti osoittaa suuntaan, jossa häviö kasvaa nopeimmin. Se näyttää jyrkimmän reitin ylöspäin, ei alaspäin.
Ottakaa siis askel toiseen suuntaan
Koska gradientti tähtää ylämäkeen, liikutte vastakkaiseen suuntaan päästäksenne alas. Gradientin vähentäminen vie kohti pienempää häviötä.
w = w - gradPäivityssääntö
Tämä yksi rivi on koulutuksen ydin. Skaalaatte gradientin pienellä askelpituudella ja vähennätte sen sitten jokaisesta painosta. Toistamalla häviö pienenee.
w = w - lr * gradGradientti on vektori
Kun painoja on paljon, gradientti on kokonainen vektori: yksi kaltevuus kutakin painoa kohti. Jokainen paino saa oman vektorikomponenttinsa mukaisen pienen siirron.
Suuruus tarkoittaa jyrkkyyttä
Suuri gradientin arvo tarkoittaa, että häviö on kyseisessä suunnassa hyvin jyrkkä, joten kyseinen paino tarvitsee suuremman korjauksen. Pienet arvot tarkoittavat, että maasto on lähes tasaista.
Missä gradientti on nolla
Laakson pohjalla kaltevuus tasaantuu ja gradientista tulee nolla. Kun mitään ei ole vähennettävä, painot lakkaavat liikkumasta. Malli on konvergoitunut.
Yksi askel kerrallaan
Pohjalle päästään harvoin yhdellä hypyllä. Jokainen askel parantaa tilannetta vain hieman, joten laskeutuminen koostuu pitkästä sarjasta pieniä alamäkiaskeleita.
Negatiivisen gradientin seuraaminen
Reittiä, jonka kuljette suuntaamalla aina negatiivisen gradientin mukaisesti, kutsutaan jyrkimmän laskeutumisen reitiksi. Se on ahne oikotie kohti pienempää häviötä.
step = -gradMiksi vähentäminen toimii
Vähentäminen siirtää teitä kasvun vastakkaiseen suuntaan, joten häviön täytyy pienentyä, kun askel on riittävän pieni. Tämä yksinkertainen merkin kääntäminen muuttaa kaltevuuden etenemiseksi.
Kohti automaattisia gradientteja
Harvoin laskette näitä kaltevuuksia käsin. PyTorchin autograd etsii gradientin puolestanne, mutta sääntö pysyy samana: vähentäkää gradientti laskeutuaksenne.
Pikatarkistus
Mihin suuntaan gradientti osoittaa?
Kertaus
Gradientti osoittaa ylöspäin kohti suurempaa häviötä, joten vähennätte siitä skaalatun version astuaksenne alaspäin. Toistamalla päivityksen malli vierii kohti laaksoa. ⬇️
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Gradientit osoittavat ylämäkeen – astukaa siis toiseen suuntaan” ilmainen?
Kyllä – oppitunnin ”Gradientit osoittavat ylämäkeen – astukaa siis toiseen suuntaan” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Deep Learning Academy-kurssin, päivitä CoddyKit PROhon. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Gradientit osoittavat ylämäkeen – astukaa siis toiseen suuntaan”?
Käyttäkää kaltevuutta painojen parantamiseen Harjoittelet Deep Learning Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni Deep Learning Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin Deep Learning Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 2/4.
Kuinka kauan ”Gradientit osoittavat ylämäkeen – astukaa siis toiseen suuntaan”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä Deep Learning Academy-oppitunnilla?
Kyllä. Jokainen Deep Learning Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Häviö maisemana, jota laskeudutaan
- Gradientit osoittavat ylämäkeen – astukaa siis toiseen suuntaan
- Oppimisnopeus: liian suuri, liian pieni vai sopiva
- Minimoikaa funktio käsin Pythonilla