RAG:n ratkaisema ongelma

Jokainen suuri kielimalli koulutetaan tiettyyn ajankohtaan asti kerätystä internetin tilannekuvasta. Tätä ajankohtaa kutsutaan tietokatkokseksi. GPT-4o:n tietokatkos on vuoden 2024 alkupuolella. Jos kysytte siltä tämän ajankohdan jälkeen tapahtuneista asioista, se joko myöntää tietämättömyytensä tai, mikä pahempaa, keksii itsevarmasti uskottavalta kuulostavia mutta vääriä tietoja. Tämä on perustavanlaatuinen ongelma sovelluksille, jotka tarvitsevat ajantasaista tai omistusoikeudellisesti suojattua tietoa.

Hallusinaatio syntyy, kun LLM tuottaa tekstiä, joka kuulostaa asiantuntevalta mutta on tosiasiallisesti väärää. Mallit koulutetaan tuottamaan sujuvaa ja johdonmukaista tekstiä — niitä ei ole erityisesti koulutettu kieltäytymään, kun ne eivät tiedä jotain. Siksi ne täyttävät tietojensa aukot uskottavilla arvauksilla. Tutkimukset osoittavat, että parhaatkin mallit hallusinoivat tietointensiivisissä tehtävissä 10–40 prosenttia ajasta ilman ulkoista tietopohjaa.

Kuvitelkaa kysyvänne LLM:ltä: Mitkä ovat yrityksemme vuoden 2025 kolmannen vuosineljänneksen toimittajasopimuksen ehdot? Malli ei ole koskaan nähnyt sisäistä dokumenttianne. Sen sijaan että se sanoisi, ettei tiedä, se saattaa tuottaa uskottavalta kuulostavan sopimusyhteenvedon yleistä juridista kieltä käyttäen. Jos työntekijä toimii keksittyjen tietojen perusteella, seuraukset voivat olla vakavat. Juuri tämän RAG on suunniteltu estämään.

RAG:n taustalla oleva oivallus on yksinkertainen: jos annatte mallille olennaiset tiedot kehotteen sisällä, sen ei tarvitse tukeutua muistiin tallentuneeseen tietoon. Malli siirtyy muistista tuottamisesta kontekstista lukemiseen. Näin myös ihmiset toimivat — kun tarvitsette täsmällisiä tietoja, tarkistatte ne sen sijaan, että luottaisitte muistikuvaanne. RAG soveltaa saman työnkulun LLM-malleihin.

Yleinen harhaluulo on, että mallin hienosäätö omilla dokumenteilla korjaa hallusinaatiot. Hienosäätö päivittää mallin painoja parantaakseen sen tyyliä, muotoilua ja tehtävän noudattamista, mutta se ei luotettavasti lisää malliin faktatietoa. Tutkimukset osoittavat, että hienosäädetyt mallit hallusinoivat edelleen jopa itse harjoitusdatasta. Jotta tieto voidaan palauttaa luotettavasti, se on annettava päättelyaikana konteksti-ikkunan kautta.

Koska RAG hakee tietoa jatkuvasti päivittyvästä dokumenttivarastosta, se käsittelee luonnostaan ajan myötä muuttuvaa tietoa. Kun käytäntöä kuvaava dokumentti päivitetään, indeksoitte sen uudelleen, ja jokainen seuraava kysely käyttää välittömästi uutta versiota — mallia ei tarvitse kouluttaa uudelleen. Siksi RAG on paljon käytännöllisempi kuin säännöllinen hienosäätö esimerkiksi sisäisissä tietopankeissa, asiakastukijärjestelmissä ja taloustutkimuksen työkaluissa.

Suurinta osaa yritysten datasta ei voida lähettää OpenAI:lle koulutusta varten tietosuoja- ja vaatimustenmukaisuusvaatimusten vuoksi. RAG kiertää tämän ongelman: arkaluonteiset dokumenttinne säilyvät omassa vektoritietokannassanne, ja kustakin kyselystä LLM:lle lähetetään vain olennaiset tekstiosat. Voitte jopa käyttää paikallista LLM:ää, kuten Llama 3:a, jolloin kaikki data pysyy omissa tiloissanne. RAG on ensisijainen malli rakennettaessa tekoälyä luottamuksellisen yrityssisällön käsittelyyn.

Kun LLM tuottaa vastauksen muistinsa perusteella, sille ei ole lähdettä, johon viitata. Kun se tuottaa vastauksen haetuista dokumenteista, se voi viitata täsmällisiin lähteisiin. Voitte ohjeistaa mallia sisällyttämään vastaukseensa dokumenttien nimet ja sivunumerot, jolloin käyttäjät voivat avata alkuperäisen lähteen ja tarkistaa tiedot. Lähteiden ilmoittaminen lisää huomattavasti luottamusta tekoälyn tuottamiin vastauksiin, mikä on ratkaisevan tärkeää oikeudellisissa, lääketieteellisissä ja taloudellisissa sovelluksissa.

RAG noudattaa päättelyaikana kaksivaiheista mallia: Hae — muunna käyttäjän kysymys upotukseksi, etsi vektoritietokannasta olennaisimmat dokumenttiosat ja kerää parhaat K tulosta. Tuota — muodosta kehote, joka sisältää haetut osat kontekstina, ja pyydä LLM:ää vastaamaan kysymykseen ainoastaan tämän kontekstin perusteella. LLM lukee, yhdistää tiedot ja vastaa.

RAG on tehokas, mutta se ei ratkaise kaikkea. Se epäonnistuu edelleen, kun vastaus edellyttää satojen dokumenttien tietojen yhdistämistä (haku palauttaa vain muutaman osan), kysymys on luonnostaan monivaiheinen ja mallin on pääteltävä välivaiheiden kautta tai haetut osat ovat harhaanjohtavia tai ristiriitaisia. Näiden rajoitusten ymmärtäminen auttaa suunnittelemaan hybridijärjestelmiä, joissa RAG yhdistyy päättelyagentteihin.

LLM:lle voi antaa toimialakohtaista tietoa kolmella päävaihtoehdolla: kehotteen täyttäminen (kaikki lisätään kehotteeseen — toimii vain erittäin pienillä aineistoilla), hienosäätö (opettaa tyylin ja muodon hyvin, mutta ei ole luotettava faktatiedon palauttamiseen) ja RAG (hakee olennaiset faktat dynaamisesti päättelyaikana ja skaalautuu miljooniin dokumentteihin). Useimmissa tuotantokäyttötapauksissa, joissa tarvitaan ajantasaista, yksityistä tai laajamittaista tietoa, RAG on oikea valinta.

Tässä oppitunnissa opitte: miksi LLM:t hallusinoivat tietokatkosten ja »en tiedä» -vastauksen ilmoittamisen vaikeuden vuoksi, miksi hienosäätö ei ratkaise hallusinaatioita faktatiedon palauttamisen osalta sekä miten RAG perustaa vastaukset haettuihin dokumentteihin, mikä mahdollistaa lähteiden ilmoittamisen, reaaliaikaisen tiedon käytön ja yksityisen datan turvallisen hyödyntämisen. Seuraavaksi tutustumme RAG-arkkitehtuuriin kokonaisuudessaan, mukaan lukien sen indeksointi- ja hakuvaiheet.