Perbandingan Model Embedding (OpenAI berbanding Cohere berbanding OSS)

OpenAI bukan satu-satunya pilihan. Cohere, Voyage, Google dan banyak model OSS menawarkan pembenaman yang kompetitif — kadangkala lebih murah, lebih berbilang bahasa atau dikhususkan untuk kod.

Pilihan yang tepat bergantung pada kes penggunaan.

Pilihan lalai bagi kebanyakan pasukan:

• + Kualiti bahasa Inggeris yang kukuh
• + Murah ($0.02 / 1M token untuk versi kecil)
• + Sehingga 3072 dimensi dengan Matryoshka
• - Hanya tersedia melalui awan

embed-multilingual-v3 daripada Cohere ialah pilihan berbilang bahasa yang paling kukuh:

• + Keupayaan berbilang bahasa yang cemerlang (100+ bahasa)
• + Mod pertanyaan dan dokumen yang berasingan
• - Sedikit lebih mahal

Disyorkan oleh Anthropic; model khusus yang kukuh:

• + voyage-3 — terbaik untuk kegunaan umum
• + voyage-code-3 — terbaik untuk kod
• + voyage-finance / law — ditala untuk domain tertentu

Keluarga sumber terbuka terkemuka daripada BAAI:

• + Percuma, berjalan pada CPU atau GPU kecil
• + bge-large-en, bge-m3 (berbilang bahasa)
• - Sedikit ketinggalan berbanding model tertutup dalam MTEB

Keluarga e5-large daripada Microsoft. Pesaing OSS yang kukuh dan popular dalam penanda aras penyelidikan.

MTEB (Penanda Aras Pembenaman Teks Berskala Besar) ialah papan pendahulu piawai: huggingface.co/spaces/mteb/leaderboard

Tapis mengikut tugas anda (pengambilan, pengelasan, pengelompokan) dan bahasa.

Untuk 1M dokumen (~500M token):

• text-embedding-3-small: ~$10
• text-embedding-3-large: ~$65
• Cohere v3: ~$50
• BGE setempat pada GPU: ~$5 (elektrik)

Jika anda tidak boleh menghantar data kepada OpenAI:

• Hoskan sendiri BGE / E5 dengan sentence-transformers
• Gunakan Cohere melalui AWS Bedrock (komitmen penempatan data)
• Gunakan OpenAI melalui Azure (serupa)

Untuk kandungan bukan bahasa Inggeris:

• Cohere multilingual v3 — sokongan paling meluas
• bge-m3 — OSS berbilang bahasa yang kukuh
• OpenAI text-embedding-3 — sangat baik tanpa diduga, tetapi cenderung kepada bahasa Inggeris

Untuk kod: voyage-code-3 atau jina-embeddings-v2-base-code

Untuk kewangan/undang-undang: voyage-finance, voyage-law

Untuk sains: SPECTER, SciNCL

JANGAN campurkan vektor daripada model yang berbeza dalam indek yang sama — vektor tersebut tidak boleh dibandingkan. Benamkan semula semuanya dengan satu model jika anda bertukar model.

Cara yang betul untuk memilih:

1. Bina set penilaian kecil yang terdiri daripada pasangan (pertanyaan, dokumen yang dijangka)
2. Benamkan korpus anda dengan kedua-dua model
3. Ukur kadar dapatan@10 pada set penilaian
4. Pilih model yang menang

Gunakan text-embedding-3-small sebagai lalai; terokai Cohere untuk kandungan berbilang bahasa, Voyage untuk kod/domain, dan BGE untuk pengehosan sendiri. Sentiasa lakukan penanda aras pada data anda.