RAG:n pilkkomisstrategiat
Opitte jakamaan dokumentit embeddingeille sopiviksi osiksi, jotta RAG-järjestelmänne hakee täsmällistä ja olennaista kontekstia.
RAG:n pilkkomisstrategiat on ilmainen Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppitunti CoddyKitissä. Tämä on oppitunti 4/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Vektoritietokannat: Pinecone, Weaviate ja pgvector-kurssilla on yhteensä 4 oppituntia.
Miksi pilkkomisella on merkitystä
Ennen upottamista dokumentit jaetaan paloihin. Palojen laatu määrittää suoraan haun laadun: liian suuri pala laimentaa relevanssia, liian pieni menettää kontekstia.
Kiinteän koon mukainen pilkkominen
Yksinkertaisin menetelmä jakaa tekstin N merkin tai tokenin välein. Se on nopea, mutta voi katkaista lauseet kesken ajatuksen.
def fixed_chunks(text, size=500):
return [text[i:i+size] for i in range(0, len(text), size)]Päällekkäiset ikkunat
Lisätkää palojen väliin päällekkäisyyttä, jotta rajan yli ulottuva konteksti ei katoa. 10–20 prosentin päällekkäisyys on yleinen.
def overlap_chunks(text, size=500, overlap=100):
step = size - overlap
return [text[i:i+size] for i in range(0, len(text), step)]Lauseet huomioiva jako
Jakakaa teksti lauseiden rajoilta, jotta jokainen pala säilyy kieliopillisesti kokonaisena. Tämä parantaa yleensä upotusten laatua verrattuna raakaan merkkien perusteella jakamiseen.
import re
sentences = re.split(r'(?<=[.!?])\s+', document_text)Rekursiivinen pilkkominen
Rekursiivinen jako kokeilee ensin suuria erottimia (kappaleita) ja sitten pienempiä (lauseita ja sanoja), kunnes palat mahtuvat kokorajaan. Se kunnioittaa luonnollista rakennetta.
Semanttinen pilkkominen
Semanttisessa pilkkomisessa lauseet ryhmitellään merkityksen samankaltaisuuden perusteella ja aloitetaan uusi pala aiheen vaihtuessa. Menetelmä on kalliimpi, mutta erittäin tarkka.
Palan koko ja malli
Sovittakaa palan koko upotusmallin konteksti-ikkunaan ja LLM:n kehotteen käytettävissä olevaan tilaan.
- Pienet palat: tarkkoja mutta pirstaleisia
- Suuret palat: sisällökkäitä mutta kohinaisia
Metatietojen säilyttäminen
Tallentakaa lähde-, sivu- ja sijaintimetatiedot jokaisen palan yhteyteen, jotta voitte viitata lähteisiin ja muodostaa kontekstin myöhemmin uudelleen.
chunk = {
'text': part,
'source': 'guide.pdf',
'page': 4,
'position': idx
}Ylä- ja alitason palat
Upottakaa pieniä alitason paloja täsmällistä osumaa varten, mutta palauttakaa niiden suurempi ylätason pala LLM:lle koko kontekstin säilyttämiseksi. Näin saatte molempien menetelmien parhaat puolet.
Pilkkomisen arviointi
Testatkaa eri pilkkomisasetuksia samoilla kyselyillä ja mitatkaa haun osumaprosenttia. Yhtä kaikille sopivaa parasta menetelmää ei ole — mitatkaa tulokset omalla datallanne.
Käytännön oletusarvot
Hyvä lähtökohta:
- Rekursiivinen jako
- ~500 tokenia palaa kohden
- ~50–100 tokenin päällekkäisyys
- Lähdemetadatan liittäminen
Pikatarkistus
Testaa pilkkomisen tuntemuksesi.
Kertaus
Opit kiinteän kokoiset, päällekkäiset, lauseet huomioivat, rekursiiviset ja semanttiset pilkkomismenetelmät sekä ylä- ja alatason palojen käytön ja metatiedot. Hyvä pilkkominen on tarkan RAG-haun perusta.
Opi Vektoritietokannat: Pinecone, Weaviate ja pgvector tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 12
- Oppitunnit
- 48
Usein kysytyt kysymykset
Onko oppitunti ”RAG:n pilkkomisstrategiat” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppimispolun 3 oppituntia, myös oppitunnin “RAG:n pilkkomisstrategiat”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Vektoritietokannat: Pinecone, Weaviate ja pgvector-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”RAG:n pilkkomisstrategiat”?
Opitte jakamaan dokumentit embeddingeille sopiviksi osiksi, jotta RAG-järjestelmänne hakee täsmällistä ja olennaista kontekstia. Harjoittelet Vektoritietokannat: Pinecone, Weaviate ja pgvector-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni Vektoritietokannat: Pinecone, Weaviate ja pgvector-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 4/4.
Kuinka kauan ”RAG:n pilkkomisstrategiat”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppitunnilla?
Kyllä. Jokainen Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- RAG-järjestelmän arkkitehtuuri
- Integrointi LLM-kehysten kanssa
- Kontekstuaalinen tiedonhaku
- RAG:n pilkkomisstrategiat