NLP Academy · Oppitunti

Muistia hallitsevat portit

Miten LSTM:t päättävät, mitä säilyttää

Oppitunti 1/413 vaihetta

Muistia hallitsevat portit on ilmainen NLP Academy-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu NLP Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. NLP Academy-kurssilla on yhteensä 4 oppituntia.

Tavalliset RNN:t unohtavat

Yksinkertaisen RNN:n on vaikea muistaa kauan sitten tapahtuneita asioita. LSTM kehitettiin ratkaisemaan tämä hallitsemalla tarkasti sitä, mitä se säilyttää ja mitä unohtaa. 🧠

Solun tila

LSTM kuljettaa erityistä solun tilaa, jokaisen aika-askeleen läpi kulkevaa muistilinjaa, jotta tärkeät signaalit säilyvät pitkissä sekvensseissä.

Portit ovat ratkaisu

Taika piilee porteissa: pienissä opittavissa kytkimissä, jotka päättävät jokaisella aika-askeleella, mitä muistiin lisätään, mitä siellä säilytetään ja mitä poistetaan.

Miten portti toimii

Jokainen portti käyttää sigmoidifunktiota tuottaakseen arvoja väliltä 0–1. Se toimii himmentimen tavoin päästäen osan tiedosta läpi ja estäen loput.

gate = sigmoid(W @ x + U @ h + b)  # values in [0, 1]

Unohtamisportti

Unohtamisportti tarkastelee uutta syötettä ja päättää, kuinka paljon vanhaa muistia poistetaan. Arvo 0 pyyhkii sen, kun taas arvo 1 säilyttää sen kokonaan.

Syöteportti

Syöteportti säätelee, kuinka paljon uutta tietoa kirjoitetaan solun tilaan, joten muistiin tallennetaan vain hyödylliset uudet signaalit.

Ehdokasarvot

Ehdokasvektori ehdottaa, mitä uutta sisältöä muistiin voisi tulla. Syöteportti säätää sitten, kuinka paljon siitä todella lisätään.

candidate = tanh(W @ x + U @ h + b)

Muistin päivittäminen

Uusi solun tila yhdistää unohtamisportin säilyttämän vanhan muistin ja syöteportin läpi päästämät uudet ehdokasarvot.

c = forget * c_prev + input * candidate

Tulosteportti

Tulosteportti päättää, mikä osa solun tilasta muuttuu näkyväksi piilotilaksi, joka välitetään seuraavalle aika-askeleelle ja ylemmälle kerrokselle.

Miksi portit estävät unohtamisen

Koska portit pitävät solun tilan pääosin additiivisena, gradientit kulkevat monien aika-askelten taakse häviämättä. Näin LSTM muistaa pitkän kontekstin.

Kolme porttia, yksi solu

LSTM:ssä on siis kolme porttia vartioimassa yhtä muistilinjaa: unohtamis-, syöte- ja tulosteportti. Jokainen niistä opitaan aineistosta koulutuksen aikana.

Pikatarkistus

Testatkaa, kuinka hyvin hallitsette LSTM:n portit.

Vastaa interaktiivisessa oppitunnissa

Kertaus

LSTM suojaa solun tilaa unohtamis-, syöte- ja tulosteporteilla. Nämä kytkimet pitävät pitkän matkan muistin elossa siellä, missä tavalliset RNN:t epäonnistuvat. ✅

Aloita maksutta

Opi Python tekoälytuutorin avulla — ilmaiseksi

Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.

Kurssit: 30
Oppitunnit: 120

Aloita opiskelu maksutta Näytä koko kurssi

Usein kysytyt kysymykset

Onko oppitunti ”Muistia hallitsevat portit” ilmainen?

Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa NLP Academy-oppimispolun 3 oppituntia, myös oppitunnin “Muistia hallitsevat portit”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. NLP Academy-kurssilla on yhteensä 4 oppituntia.

Mitä opin oppitunnilla ”Muistia hallitsevat portit”?

Miten LSTM:t päättävät, mitä säilyttää Harjoittelet NLP Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.

Tarvitsenko kokemusta aloittaakseni NLP Academy-opiskelun?

Aiempi kokemus ei ole tarpeen. CoddyKitin NLP Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.

Kuinka kauan ”Muistia hallitsevat portit”-oppitunnin suorittaminen kestää?

Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.

Voinko kirjoittaa ja suorittaa koodia tällä NLP Academy-oppitunnilla?

Kyllä. Jokainen NLP Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.

Kaikki tämän kurssin oppitunnit

← Takaisin: NLP Academy