Modeller for tekstepresentasjoner

Tidlige modeller som Word2Vec og GloVe var pionerer innen embeddings på ordnivå.

De lærte å forutsi et ord basert på nab ordene (Word2Vec) eller på global statistikk over hvor ofte ord forekommer sammen (GloVe).

Selv om de var revolusjonerende, produserte disse modellene ofte ett enkelt embedding for hvert ord, uavhengig av konteksten.

Introduksjonen av BERT (Bidirectional Encoder Representations from Transformers) markerte et betydelig fremskritt.

I motsetning til Word2Vec genererer BERT kontekstuelle embeddings. Det betyr at ordet «bank» i «elvebredd» får et annet embedding enn «bank» i «bankkonto».

BERT forstår ordene rundt for å gi en mer nøyaktig representasjon av betydningen.

BERT er godt egnet for ord, men det er ikke alltid optimalt å sammenligne to setnings-embeddings generert av BERT direkte for å finne likhet.

Sentence-BERT (SBERT) ble utviklet for å løse dette. Modellen endrer BERT slik at den produserer semantisk meningsfulle setnings-embeddings som kan sammenlignes direkte ved hjelp av cosine similarity.

Dette gjør SBERT svært effektiv for oppgaver som klynging og semantisk søk.

Mange kommersielle leverandører tilbyr kraftige, forhåndstrente embedding-modeller via API-er, noe som gjør dem enkle å integrere.

OpenAI sine embedding-modeller, som text-embedding-ada-002, brukes mye på grunn av høy kvalitet og kostnadseffektivitet.

Disse modellene er vanligvis trent på enorme datasett og gir gode resultater til generell bruk på tvers av mange fagområder.

Når De velger en embedding-modell, bør De vurdere disse egenskapene:

• Dimensionalitet: Antallet verdier i vektoren (for eksempel 384, 768, 1536). Flere dimensjoner kan fange opp flere nyanser, men krever mer lagringsplass og beregning.
• Treningsdata: Typen og mengden data modellen ble trent på (for eksempel generell webtekst, vitenskapelige artikler eller juridiske dokumenter).
• Ytelse: Hvor godt modellen presterer på referansetester (for eksempel MTEB-rangeringen) for oppgaver som klassifisering eller semantisk likhet.

Hver modelltype har sine avveininger:

• Word2Vec/GloVe: Raske og lette, men mangler kontekst.
• BERT: Kontekstuell og kraftig, men beregningskrevende ved direkte likhetssammenligning av lange tekster.
• SBERT: Utmerket for likhet mellom setninger og avsnitt, med balansert ytelse.
• OpenAI/kommersielle modeller: Høy kvalitet og enkle å bruke via API, men proprietære og kan medføre kostnader.

Valget avhenger av de spesifikke behovene Deres:

• For enkle ordrelasjoner kan eldre modeller være tilstrekkelige.
• For nyansert semantisk søk i setninger er SBERT eller kommersielle modeller bedre.
• Vurder fagområdet til teksten Deres (for eksempel medisin eller økonomi) – noen modeller er spesialiserte.
• Ta hensyn til beregningsressurser og kostnader hvis De bruker API-tjenester.

I denne leksjonen undersøkte vi hvordan modeller for text embedding gjør språk om til numeriske vektorer som fanger opp semantisk betydning.

Vi gikk gjennom grunnmodeller som Word2Vec, kontekstuelle modeller som BERT og spesialiserte modeller som SBERT for setninger.

De lærte også om kommersielle API-modeller og viktige egenskaper De bør vurdere når De velger en embedding-modell til KI-applikasjonene Deres. Neste gang skal vi se nærmere på hvordan disse embedding-API-ene brukes!