Sammenligning af embedding-modeller (OpenAI vs. Cohere vs. OSS)

OpenAI er ikke den eneste mulighed. Cohere, Voyage, Google og mange open source-modeller tilbyder konkurrencedygtige indlejringer — nogle gange billigere, med understøttelse af flere sprog eller specialiserede til kode.

Det rigtige valg afhænger af anvendelsen.

Standardvalget for de fleste teams:

• + Høj kvalitet på engelsk
• + Billig ($0.02 / 1M tokens for small-modellen)
• + Op til 3072 dimensioner med Matryoshka
• - Kun i skyen

Cohere-modellen embed-multilingual-v3 er den stærkeste flersprogede mulighed:

• + Fremragende flersproget understøttelse (100+ sprog)
• + Separate tilstande for forespørgsler og dokumenter
• - Lidt dyrere

Anbefalet af Anthropic; stærke specialiserede modeller:

• + voyage-3 — bedst til generelle formål
• + voyage-code-3 — bedst til kode
• + voyage-finance / law — domænetilpassede

Den førende open source-familie fra BAAI:

• + Gratis, kører på CPU eller en lille GPU
• + bge-large-en, bge-m3 (flersproget)
• - Lidt efter lukkede modeller på MTEB

Microsofts e5-large-familie. En stærk open source-kandidat, som er populær i forskningsbaserede testresultater.

MTEB (Massive Text Embedding Benchmark) er standardranglisten: huggingface.co/spaces/mteb/leaderboard

Filtrér efter din opgave (søgning, klassifikation, klyngedannelse) og dit sprog.

For 1M dokumenter (~500M tokens):

• text-embedding-3-small: ~$10
• text-embedding-3-large: ~$65
• Cohere v3: ~$50
• Lokal BGE på en GPU: ~$5 (elektricitet)

Hvis du ikke kan sende data til OpenAI:

• Vær selv vært for BGE / E5 med sentence-transformers
• Brug Cohere gennem AWS Bedrock (forpligtelser vedrørende dataophold)
• Brug OpenAI gennem Azure (samme princip)

Til indhold på andre sprog end engelsk:

• Cohere multilingual v3 — bredeste sprogunderstøttelse
• bge-m3 — stærk flersproget open source-model
• OpenAI text-embedding-3 — overraskende god, men med vægt på engelsk

Til kode: voyage-code-3 eller jina-embeddings-v2-base-code

Til finans og jura: voyage-finance, voyage-law

Til videnskab: SPECTER, SciNCL

Bland IKKE vektorer fra forskellige modeller i det samme indeks — de kan ikke sammenlignes. Indlejr alt igen med én model, hvis du skifter.

Den rigtige måde at vælge på:

1. Opret et lille evalueringssæt med par af (forespørgsel, forventede dokumenter)
2. Indlejr dit korpus med begge modeller
3. Mål recall@10 på evalueringssættet
4. Vælg vinderen

Brug som standard text-embedding-3-small; undersøg Cohere til flersprogede løsninger, Voyage til kode og domæner og BGE til selvhosting. Lav altid test på dine egne data.