Miksi sekvenssit tarvitsevat muistia
Järjestyksellä on merkitystä tekstissä, äänessä ja ajassa
Miksi sekvenssit tarvitsevat muistia on ilmainen Deep Learning Academy-oppitunti CoddyKitissä. Tämä on oppitunti 1/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu Deep Learning Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.
Järjestys sisältää merkityksen
Sekvenssissä järjestys on tietoa. Lauseet ”koira puree miestä” ja ”mies puree koiraa” käyttävät samoja sanoja, mutta tarkoittavat päinvastaista. 🐶
Sekvenssejä on kaikkialla
Teksti, ääni, osakekurssit ja anturilukemat ovat kaikki sekvenssejä: järjestettyjä listoja, joissa kukin vaihe liittyy ympärillään oleviin vaiheisiin.
Miksi tavalliset verkot kamppailevat
Perinteinen feedforward-verkko käsittelee kerrallaan yhden kiinteän kokoisen syötteen. Se ei voi tietää, mitä aiemmin tapahtui, joten se unohtaa menneisyyden heti.
Muuttuvan pituuden käsittely on vaikeaa
Lauseita on monen pituisia. Kiinteän syötteen verkko ei pysty käsittelemään luontevasti 3 sanan ilmausta ja 30 sanan ilmausta samoilla painoilla.
Muistin idea
Tarvitsemme mallin, joka ylläpitää näkemästään jatkuvasti päivittyvää muistia ja päivittää sitä sekvenssin jokaisessa vaiheessa.
Piilotettu tila
Tätä muistia kutsutaan piilotetuksi tilaksi: se on vektori, jota malli kuljettaa mukanaan ja joka tiivistää aiempien vaiheiden tärkeät tiedot.
Yksi vaihe kerrallaan
Rekurrentti malli lukee sekvenssin vaihe vaiheelta, yhdistää uuden syötteen nykyiseen muistiinsa ja tuottaa päivitetyn muistin.
for token in sequence:
hidden = update(hidden, token)Painojen jakaminen ajan kuluessa
Samaa painojen joukkoa käytetään uudelleen jokaisessa aika-askeleessa. Näin malli pysyy pienenä ja pystyy käsittelemään minkä tahansa pituisia sekvenssejä.
Konteksti muuttaa vastausta
Muisti antaa kontekstin vaikuttaa ennusteisiin. Kun mallin pitää täydentää lause ”the clouds are in the ___”, se hyödyntää aiempaa sanaa ”clouds”.
Lyhyet ja pitkät riippuvuudet
Jotkin vihjeet ovat heti vieressä, kun taas toiset ovat kaukana sekvenssin alkupuolella. Hyvän muistin täytyy tallentaa sekä lyhyen että pitkän aikavälin riippuvuudet.
Rekurentit verkot
Malleja, jotka perustuvat silmukassa kulkevaan piilotettuun tilaan, kutsutaan rekurrenteiksi verkoiksi. Ne ovat perinteinen ratkaisu järjestyksessä olevan datan oppimiseen.
Pikatarkistus
Miksi tavallinen feedforward-verkko ei pysty mallintamaan sekvenssiä hyvin?
Kertaus
Sekvenssien merkitys riippuu niiden järjestyksestä, mutta tavalliset verkot unohtavat menneisyyden. Ratkaisu on malli, jonka muisti päivittyy vaihe vaiheelta. ✅
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Miksi sekvenssit tarvitsevat muistia” ilmainen?
Kyllä – oppitunnin ”Miksi sekvenssit tarvitsevat muistia” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko Deep Learning Academy-kurssin, päivitä CoddyKit PROhon. Deep Learning Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Miksi sekvenssit tarvitsevat muistia”?
Järjestyksellä on merkitystä tekstissä, äänessä ja ajassa Harjoittelet Deep Learning Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni Deep Learning Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin Deep Learning Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 1/4.
Kuinka kauan ”Miksi sekvenssit tarvitsevat muistia”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä Deep Learning Academy-oppitunnilla?
Kyllä. Jokainen Deep Learning Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Miksi sekvenssit tarvitsevat muistia
- Tavallinen RNN-solu
- LSTM- ja GRU-portit
- Paketoikaa sekvenssit ja käsitelkää täyttö