Hybridihaku harvoilla ja tiheillä vektoreilla
Opitte, miten Pinecone yhdistää tiheät semanttiset vektorit ja harvat avainsanavektorit hybridihauksi, joka huomioi sekä merkityksen että täsmälliset termit.
Hybridihaku harvoilla ja tiheillä vektoreilla on ilmainen Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppitunti CoddyKitissä. Tämä on oppitunti 4/4. Voit lukea tästä oppimispolusta kokonaan mitkä tahansa 3 oppituntia ilmaiseksi — sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä käytännön harjoittelun sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Oppitunti kuuluu Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppimispolkuun, ja edistymisesi synkronoituu verkon ja CoddyKit-sovelluksen välillä. Vektoritietokannat: Pinecone, Weaviate ja pgvector-kurssilla on yhteensä 4 oppituntia.
Pelkkään tiheään hakuun perustuvan haun rajoitukset
Tiheät vektorit kuvaavat merkitystä, mutta voivat ohittaa täsmälliset termit, kuten tuotekoodit, nimet tai harvinaiset avainsanat. Hakusanalla ”error E4012” etsivä käyttäjä voi saada semanttisesti läheisiä mutta vääriä tuloksia.
Hybridihaku korjaa tämän lisäämällä avainsanojen täsmäytyksen.
Tiheät ja harvat vektorit
Kaksi vektorityyppiä:
- Tiheä — muutama sata liukulukua, jotka koodaavat semanttista merkitystä
- Harva — enimmäkseen nollia, painot vain esiintyville termeille (kuten avainsanojen pisteytyksessä)
Harvat vektorit toimivat klassisen avainsanahaun tavoin.
Miltä harvat vektorit näyttävät
Harva vektori tallennetaan nollasta poikkeavien termien indeksien ja arvojen avulla.
sparse = {'indices': [10, 42, 77], 'values': [0.8, 0.5, 0.3]}
print('non-zero terms:', len(sparse['indices']))Miksi hybridi toimii paremmin
Hybridihaku yhdistää vahvuudet:
- Tiheä vektori käsittelee synonyymejä ja hakutarkoitusta
- Harva vektori takaa täsmälliset osumat
- Yhdessä ne parantavat saantia ja tarkkuutta
Pineconen hybridi-indeksit
Käyttääksenne hybridihakua Pineconessa luokaa dotproduct-indeksi ja upsertatkaa jokainen tietue sekä tiheän values-taulukon että sparse_values-kentän kanssa. Kyselyissä annetaan kyselyn molemmat esitysmuodot.
Hybriditietueen upsertointi
Tietue sisältää tiheän ja harvan osan yhdessä.
record = {
'id': 'doc1',
'values': [0.1, 0.2, 0.3],
'sparse_values': {'indices': [5, 9], 'values': [0.7, 0.4]},
'metadata': {'title': 'Setup guide'}
}
print(record['id'], 'has', len(record['values']), 'dense dims')Alfa-painotus
Hybridikyselyissä käytetään alpha-parametria tiheän ja harvan vektorin painottamiseen. alpha=1 tarkoittaa puhtaasti tiheää ja alpha=0 puhtaasti harvaa hakua. Säätäkää arvo aineistonne mukaan.
def weight(dense_vec, sparse_vals, alpha):
d = [v*alpha for v in dense_vec]
s = [v*(1-alpha) for v in sparse_vals]
return d, s
print(weight([1.0], [1.0], 0.7))Harvojen vektorien luominen
Harvat vektorit saadaan avainsanamalleista, kuten BM25:stä, tai opituista harvoista enkoodereista (esim. SPLADE). Ne yhdistävät termit painotettuihin indekseihin, joita Pinecone voi verrata tallennettuihin tietueisiin.
Alfan säätäminen
Sopiva alpha riippuu kyselyistänne:
- Avainsanapainotteiset alat (koodit, tunnisteet) -> pienempi alpha
- Luonnollisen kielen kysymykset -> suurempi alpha
Testatkaa oikeilla kyselyillä ja mitatkaa sekä saantia että tarkkuutta.
Milloin hybridihakua kannattaa käyttää
Valitkaa hybridihaku, kun täsmälliset termit ovat tärkeitä: esimerkiksi laki- ja lääketieteellisissä aineistoissa, teknisissä dokumenteissa tai SKU-koodeja sisältävissä luetteloissa. Puhtaasti keskustelumuotoisessa sisällössä pelkkä tiheä haku voi riittää ja olla yksinkertaisempi.
Kokonaisuuden yhdistäminen
Pineconen hybridihaku = dotproduct-indeksi, tiheitä ja harvoja arvoja sisältävät tietueet, molemmat esitysmuodot tarjoavat kyselyt sekä säädetty alpha. Se huomioi merkityksen ja täsmälliset termit yhdessä järjestetyssä tulosjoukossa.
Pikatarkistus
Testatkaa ymmärrystänne hybridhausta.
Kertaus
Opitte, että hybridihaku yhdistää semanttiset tiheät vektorit ja avainsanoihin perustuvat harvat vektorit, jotta Pinecone huomioi sekä merkityksen että täsmälliset termit. Käyttäkää dotproduct-indeksiä, upsertatkaa molemmat esitysmuodot ja säätäkää alpha-painotus kyselyjakaumanne mukaan.
Opi Vektoritietokannat: Pinecone, Weaviate ja pgvector tekoälytuutorin avulla — ilmaiseksi
Kirjoita ja suorita oikeaa koodia selaimessa, saa välitöntä apua tekoälytuutorilta ympäri vuorokauden ja jatka siitä, mihin jäit, verkossa tai sovelluksessa.
- Kurssit
- 12
- Oppitunnit
- 48
Usein kysytyt kysymykset
Onko oppitunti ”Hybridihaku harvoilla ja tiheillä vektoreilla” ilmainen?
Kyllä — voit lukea täällä verkossa kokonaan ilmaiseksi mitkä tahansa Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppimispolun 3 oppituntia, myös oppitunnin “Hybridihaku harvoilla ja tiheillä vektoreilla”. Sen jälkeen CoddyKit PRO avaa kaikki oppitunnit sekä interaktiiviset harjoitukset sisäänrakennetulla koodieditorilla ja ympäri vuorokauden toimivalla tekoälytuutorilla. Vektoritietokannat: Pinecone, Weaviate ja pgvector-kurssilla on yhteensä 4 oppituntia.
Mitä opin oppitunnilla ”Hybridihaku harvoilla ja tiheillä vektoreilla”?
Opitte, miten Pinecone yhdistää tiheät semanttiset vektorit ja harvat avainsanavektorit hybridihauksi, joka huomioi sekä merkityksen että täsmälliset termit. Harjoittelet Vektoritietokannat: Pinecone, Weaviate ja pgvector-aihetta koodilla, jonka suoritat suoraan selaimessa. Ympäri vuorokauden käytettävissä oleva tekoälytuutori vastaa kysymyksiisi oppitunnin aikana.
Tarvitsenko kokemusta aloittaakseni Vektoritietokannat: Pinecone, Weaviate ja pgvector-opiskelun?
Aiempi kokemus ei ole tarpeen. CoddyKitin Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppimispolku sopii vasta-alkajista edistyneisiin, joten voit aloittaa tästä tai alusta ja edetä omaan tahtiisi. Tämä on oppitunti 4/4.
Kuinka kauan ”Hybridihaku harvoilla ja tiheillä vektoreilla”-oppitunnin suorittaminen kestää?
Useimmat CoddyKitin oppitunnit kestävät noin 5–10 minuuttia. Jokainen oppitunti on lyhyt ja interaktiivinen, joten edistyt tasaisesti ja voit jatkaa siitä, mihin jäit – sekä verkossa että sovelluksessa.
Voinko kirjoittaa ja suorittaa koodia tällä Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppitunnilla?
Kyllä. Jokainen Vektoritietokannat: Pinecone, Weaviate ja pgvector-oppitunti sisältää sisäänrakennetun koodieditorin, joten voit kirjoittaa ja suorittaa oikeaa koodia suoraan selaimessa ja saada välitöntä palautetta tekoälyltä – paikallista asennusta ei tarvita.
Kaikki tämän kurssin oppitunnit
- Suodatus metatietojen avulla
- Nimiavaruuksien hallinta
- Reaaliaikaiset päivitykset ja poistot
- Hybridihaku harvoilla ja tiheillä vektoreilla