Vastaamattomien kysymysten ja pitkien dokumenttien käsittely
Pilko teksti ja tarkista luottamus
Vastaamattomien kysymysten ja pitkien dokumenttien käsittely on ilmainen NLP Academy-oppitunti CoddyKitissä. Tämä on oppitunti 4/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu NLP Academy-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Joskus vastausta ei ole
Todellisissa kysymyksissä vastausta ei usein ole tekstikatkelmassa. Vankkatekoinen QA-järjestelmä myöntää tämän sen sijaan, että pakottaisi mukaan väärän arvauksen. 🤔
Tyhjän vastauksen idea
Tätä varten koulutetut mallit oppivat tyhjän vastauksen vaihtoehdon. Kun mikään span ei sovi, ne osoittavat tyhjään vastaukseen sen sijaan, että keksisivät vastauksen.
Tyhjien vastausten salliminen
Aseta pipelinessa handle_impossible_answer arvoon true, jotta se voi palauttaa tyhjän merkkijonon, kun mikään kontekstissa ei vastaa kysymystä.
qa(question=q, context=c,
handle_impossible_answer=True)Käytä pistemäärää porttina
Luottamuksen score toimii turvaporttina. Jos se jää luottamaasi kynnysarvoa pienemmäksi, käsittele vastausta niin, ettei vastausta ole.
if result["score"] < 0.2:
answer = "I do not know."Pitkät asiakirjat ylittävät rajan
Transformers-malleilla on kiinteä enimmäispituus, usein 512 tokenia. Pitkä asiakirja ei yksinkertaisesti mahdu yhteen käsittelykierrokseen.
Kontekstin pilkkominen
Ratkaisu on pilkkominen: jaa pitkä asiakirja osittain päällekkäisiin ikkunoihin ja suorita QA erikseen jokaisessa ikkunassa.
Miksi ikkunat menevät päällekkäin
Osien pitäisi mennä hieman päällekkäin. Muuten osan rajalle osuva vastaus voisi jakautua kahtia ja kadota kahden ikkunan väliin.
Sisäänrakennettu liukuva ikkuna
QA-pipeline voi tehdä tämän puolestasi. Aseta doc_stride-arvo, jolla säädät, kuinka paljon kukin ikkuna menee edellisen kanssa päällekkäin.
qa(question=q, context=long_text,
max_seq_len=384, doc_stride=128)Osien vastausten yhdistäminen
Kukin osa tuottaa oman vastauksensa ja score-arvonsa. Lopulliseksi vastaukseksi valitaan kaikkien osien joukosta ehdokas, jolla on suurin score.
Hae ennen lukemista
Valtavista kokoelmista kannattaa ensin hakea muutama olennaisin tekstikatkelma ja suorittaa QA vain niille. Tämä on suurempien QA-järjestelmien ydin.
Rehellisyys rakentaa luottamusta
Vastauksen palauttaminen silloin, kun malli ei ole varma, on ominaisuus, ei puute. Rehellinen QA ansaitsee käyttäjän luottamuksen paljon paremmin kuin itsevarma väärä arvaus. 🛡️
Pikatarkistus
Miten syötämme hyvin pitkän asiakirjan QA-mallille?
Kertaus
Salli tyhjät vastaukset ja käytä score-arvoa porttina rehellisyyden varmistamiseksi. Pilko pitkät asiakirjat päällekkäisiin osiin ja pidä parhaan score-arvon saanut span. Nyt osaat rakentaa vankan QA-ratkaisun. 🎉
Opi Python tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 30
- Oppitunnit
- 120
Usein kysytyt kysymykset
Onko oppitunti ”Vastaamattomien kysymysten ja pitkien dokumenttien käsittely” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa NLP Academy-oppimispolun 3 oppituntia, myös oppitunnin “Vastaamattomien kysymysten ja pitkien dokumenttien käsittely”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. NLP Academy-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Vastaamattomien kysymysten ja pitkien dokumenttien käsittely”?
Pilko teksti ja tarkista luottamus Harjoittelet NLP Academy-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni NLP Academy-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin NLP Academy-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 4/4.
Kuinka kauan ”Vastaamattomien kysymysten ja pitkien dokumenttien käsittely”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä NLP Academy-oppitunnilla?
Kyllä. Jokainen NLP Academy-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Ekstraktiivinen ja generatiivinen kysymysvastaus
- Kysymysvastausputken suorittaminen
- Vastauskohtien etsiminen kontekstista
- Vastaamattomien kysymysten ja pitkien dokumenttien käsittely