Introduksjon til vektordatabaser

Velkommen til vektordatabasenes verden! Dette er spesialiserte databaser som er utviklet for å lagre, indeksere og spørre etter høydimensjonale vektorer på en effektiv måte.

Tenk på dem som superavanserte arkivskap for de numeriske representasjonene av dataene Deres. Det gjør dem avgjørende for moderne KI-applikasjoner som Retrieval Augmented Generation (RAG).

Tradisjonelle databaser (som SQL eller NoSQL) er utmerkede for strukturerte data, eksakte treff og søk etter nøkkelord.

De får imidlertid problemer når De vil finne elementer basert på deres semantiske likhet eller «betydning». De kan ikke enkelt fortelle hvilke dokumenter som er «konseptuelt like» spørsmålet Deres.

Som vi har lært, kan tekst, bilder og andre data konverteres til embeddings – lister med tall (vektorer) som fanger opp den semantiske betydningen deres.

Datapunkter som er semantisk like, vil ha «nærmere» vektorer i dette høydimensjonale rommet.

Se for Dem at De har millioner eller milliarder av disse høydimensjonale vektorene. Hvordan finner De raskt de få vektorene som er «nærmest» en gitt spørringsvektor?

Det ville vært utrolig tregt og ressurskrevende å beregne avstanden mellom hver eneste vektor. Det er her vektordatabaser virkelig kommer til sin rett.

Vektordatabaser er utviklet fra grunnen av for å løse problemet med «likhetssøk» på en effektiv måte. Dette gjør de ved å:

• Lagre vektorer sammen med de opprinnelige dataene eller metadataene.
• Bygge spesielle indekser som muliggjør raske søk etter tilnærmet nærmeste nabo (ANN).

Hjertet i en vektordatabase er dens vektorindeks. I motsetning til tradisjonelle indekser, som organiserer data for eksakte treff, organiserer vektorindekser vektorer etter nærhet.

Disse indeksene bruker smarte algoritmer til raskt å begrense søkeområdet og finne vektorer som er «nærme nok» spørringsvektoren Deres, uten å kontrollere hver eneste vektor.

I tillegg til selve vektorene lagrer vektordatabaser også tilknyttede metadata. Dette kan være den opprinnelige teksten, dokument-ID-en, forfatteren, datoen eller annen relevant informasjon.

Når et likhetssøk finner relevante vektorer, hentes de tilknyttede metadataene, slik at applikasjonen får hele konteksten.

Prosessen med å legge data til i en vektordatabase følger vanligvis disse trinnene:

• Last inn data: Hent den ubehandlede teksten, bildene og så videre.
• Del opp: Del store dokumenter inn i mindre, meningsfulle deler.
• Opprett embedding: Konverter hver del til en embedding-vektor.
• Lagre: Sett inn vektoren og de tilknyttede metadataene i vektordatabasen.

Når en bruker stiller et spørsmål, bidrar vektordatabasen til å hente relevant informasjon:

• Opprett embedding av spørringen: Konverter brukerens spørsmål til en vektor.
• Søk: Vektordatabasen bruker indeksen sin til å finne de «nærmeste» vektorene til spørringsvektoren.
• Hent: Den returnerer metadataene (for eksempel de opprinnelige tekstutdragene) som er knyttet til disse lignende vektorene.

Vektordatabaser driver mange innovative applikasjoner:

• RAG-systemer: Gir LLM-er faktabasert kontekst.
• Anbefalingsmotorer: Foreslår lignende produkter eller innhold.
• Semantisk søk: Finner dokumenter basert på betydning, ikke bare nøkkelord.
• Avviksdeteksjon: Identifiserer uvanlige datapunkter.

Nå har De fått oversikt over vektordatabaser!

• De lagrer høydimensjonale vektorer og tilknyttede metadata.
• De bruker spesialiserte indekser for raskt semantisk likhetssøk.
• De overvinner begrensningene til tradisjonelle databaser for KI-oppgaver.
• De er en sentral komponent i applikasjoner som RAG.

Deretter skal vi se nærmere på hvordan embeddings faktisk lagres og hentes!