Perbandingan Model Embedding (OpenAI vs Cohere vs OSS)

OpenAI bukan satu-satunya pilihan. Cohere, Voyage, Google, dan banyak model OSS menawarkan vektor penyematan yang kompetitif—terkadang lebih murah, lebih multibahasa, atau dikhususkan untuk kode.

Pilihan yang tepat bergantung pada kasus penggunaan.

Pilihan bawaan bagi sebagian besar tim:

• + Kualitas bahasa Inggris yang kuat
• + Murah ($0,02 / 1 juta token untuk versi kecil)
• + Hingga 3072 dimensi dengan Matryoshka
• - Hanya tersedia di cloud

embed-multilingual-v3 milik Cohere adalah pilihan multibahasa terkuat:

• + Multibahasa yang sangat baik (100+ bahasa)
• + Mode kueri dan dokumen yang terpisah
• - Sedikit lebih mahal

Direkomendasikan oleh Anthropic; memiliki model khusus yang kuat:

• + voyage-3 — terbaik untuk penggunaan umum
• + voyage-code-3 — terbaik untuk kode
• + voyage-finance / law — disesuaikan untuk bidang tertentu

Keluarga sumber terbuka terkemuka dari BAAI:

• + Gratis, berjalan pada CPU atau GPU kecil
• + bge-large-en, bge-m3 (multibahasa)
• - Sedikit tertinggal dari model tertutup pada MTEB

Keluarga e5-large milik Microsoft. Pesaing OSS yang kuat dan populer dalam tolok ukur penelitian.

MTEB (Tolok Ukur Penyematan Teks Masif) adalah papan peringkat standar: huggingface.co/spaces/mteb/leaderboard

Saring berdasarkan tugas Anda (pengambilan, klasifikasi, pengelompokan) dan bahasa.

Untuk 1 juta dokumen (sekitar 500 juta token):

• text-embedding-3-small: sekitar $10
• text-embedding-3-large: sekitar $65
• Cohere v3: sekitar $50
• BGE lokal pada GPU: sekitar $5 (biaya listrik)

Jika Anda tidak dapat mengirim data ke OpenAI:

• Kelola BGE / E5 sendiri dengan sentence-transformers
• Gunakan Cohere melalui AWS Bedrock (komitmen terkait lokasi penyimpanan data)
• Gunakan OpenAI melalui Azure (serupa)

Untuk konten nonbahasa Inggris:

• Cohere multilingual v3 — dukungan paling luas
• bge-m3 — multibahasa OSS yang kuat
• OpenAI text-embedding-3 — sangat baik di luar dugaan, tetapi cenderung berfokus pada bahasa Inggris

Untuk kode: voyage-code-3 atau jina-embeddings-v2-base-code

Untuk keuangan/hukum: voyage-finance, voyage-law

Untuk sains: SPECTER, SciNCL

Jangan (NOT) mencampurkan vektor dari model yang berbeda dalam indeks yang sama—vektor tersebut tidak dapat dibandingkan. Sematkan ulang semuanya dengan satu model jika Anda berganti model.

Cara yang tepat untuk memilih:

1. Buat kumpulan evaluasi kecil yang berisi pasangan (kueri, dokumen yang diharapkan)
2. Sematkan korpus Anda dengan kedua model
3. Ukur recall@10 pada kumpulan evaluasi
4. Pilih model yang unggul

Gunakan text-embedding-3-small sebagai pilihan bawaan; jelajahi Cohere untuk multibahasa, Voyage untuk kode/bidang tertentu, dan BGE untuk pengelolaan sendiri. Selalu lakukan tolok ukur pada data Anda.