Ota käyttöön mukautuva mikroeräkäsittely
Ryhmitä pyynnöt automaattisesti paremman läpimenon saavuttamiseksi.
Ota käyttöön mukautuva mikroeräkäsittely on ilmainen MLOps Academy-oppitunti CoddyKitissä. Tämä on oppitunti 3/4. Voit lukea koko oppitunnin alta ilmaiseksi ja harjoitella sen jälkeen käytännössä selaimessa sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla. Oppitunti kuuluu MLOps Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Läpimenon ongelma
Mallin kutsuminen kerran jokaista pyyntöä kohden tuhlaa laitteiston resursseja. Mallit käsittelevät syötteet paljon nopeammin batch-eränä kuin yksi kerrallaan. ⚡
Mikroeräkäsittelyn toiminta
Mukautuva eräkäsittely kerää saapuvat pyynnöt lyhyen ajan kuluessa, käsittelee ne yhdessä ja jakaa tulokset sitten automaattisesti takaisin kullekin kutsujalle.
Miksi mukautuva
Aikaikkunan koko ei ole kiinteä. BentoML seuraa reaaliaikaista viivettä ja mukauttaa erän kokoa, jotta toiminta säilyy nopeana sekä kevyellä että raskaalla kuormalla.
Se tapahtuu runnerissa
Eräkäsittely määritetään mallikohtaisesti, ei pyyntökohtaisesti. Otat sen käyttöön runnable-kohteessa merkitsemällä, mitkä metodit tukevat eräsyötteitä.
Ota se käyttöön
Mukautetussa runnable-kohteessa asetat metodin batchable-arvoksi true. BentoML ryhmittelee kyseiseen metodiin kohdistuvat kutsut tämän jälkeen taustalla.
@bentoml.Runnable.method(batchable=True)
def predict(self, inputs):
...Valitse erän akseli
BentoML:n on tiedettävä, miten syötteet pinotaan. batch_dim-argumentti kertoo, mitä akselia pitkin syötteet yhdistetään, yleensä akselia 0.
@bentoml.Runnable.method(batchable=True, batch_dim=0)Rajoita erän kokoa
Rajoitat erän enimmäiskokoa. max_batch_size rajoittaa yhdistettyjen pyyntöjen määrää, jotta yksi valtava erä ei estä muita pyyntöjä.
Rajoita odotusaikaa
Rajoitat myös odotuksen enimmäiskestoa. max_latency_ms määrittää pisimmän ajan, jonka pyyntö voi odottaa jonossa ennen erän suorittamista.
Hienosäädä asetuksista
Voit määrittää nämä rajat koskematta koodiin. bentoml_configuration-tiedoston avulla voit säätää eräkäsittelyä runner-kohtaisesti eri ympäristöissä.
runners:
predict:
batching:
max_batch_size: 32Kompromissi
Suuremmat erät parantavat läpimenoa, mutta lisäävät hieman kunkin pyynnön viivettä. Hienosäädössä etsitään liikenteellesi sopiva tasapaino.
Seuraa toimintaa
Asiakasohjelmaasi ei tarvitse muuttaa lainkaan. Kutsujat lähettävät edelleen yksittäisiä pyyntöjä, kun taas BentoML yhdistää ne läpinäkyvästi taustalla.
Pikatarkistus
Kasvatat max_batch_size-arvon suureksi. Mikä on todennäköinen vaikutus yksittäiseen pyyntöön?
Kertaus
Opit, että mukautuva eräkäsittely ryhmittelee pyynnöt batchable-runnerissa. max_batch_size ja max_latency_ms ohjaavat toimintaa, jolloin hieman viivettä vaihdetaan suureen läpimenoon. 🙌
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Ota käyttöön mukautuva mikroeräkäsittely” ilmainen?
Kyllä – oppitunnin ”Ota käyttöön mukautuva mikroeräkäsittely” koko tekstin voi lukea täällä verkossa ilmaiseksi. Jos haluat harjoitella interaktiivisesti sisäänrakennetulla koodieditorilla ja ympäri vuorokauden käytettävissä olevan tekoälytuutorin avulla sekä avata koko MLOps Academy-kurssin, päivitä CoddyKit PROhon. MLOps Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Ota käyttöön mukautuva mikroeräkäsittely”?
Ryhmitä pyynnöt automaattisesti paremman läpimenon saavuttamiseksi. Harjoittelet MLOps Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni MLOps Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin MLOps Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 3/4.
Kuinka kauan ”Ota käyttöön mukautuva mikroeräkäsittely”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä MLOps Academy-oppitunnilla?
Kyllä. Jokainen MLOps Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Tallenna malli Bento Storeen
- Määritä palvelu ja sen API
- Ota käyttöön mukautuva mikroeräkäsittely
- Koosta Bento ja konttikoosta se