嵌入模型对比（OpenAI、Cohere 与 OSS）

OpenAI 并不是唯一的选择。Cohere、Voyage、Google 以及许多 OSS 模型都能提供具有竞争力的嵌入向量——有时价格更低、支持的语言更多，或针对代码进行了专门优化。

正确的选择取决于具体使用场景。

大多数团队的默认选择：

• + 英语质量出色
• + 价格低廉（small 版本每 100 万个令牌 0.02 美元）
• + 借助 Matryoshka 支持最高 3072 维
• - 仅支持云端使用

Cohere 的 embed-multilingual-v3 是最强的多语言选项：

• + 多语言能力出色（支持 100 多种语言）
• + 支持分别使用查询模式和文档模式
• - 价格略高

Anthropic 推荐的模型，提供能力出色的专业模型：

• + voyage-3——顶级通用模型
• + voyage-code-3——最适合代码
• + voyage-finance / voyage-law——针对领域优化

来自 BAAI 的领先开源模型系列：

• + 免费，可在 CPU 或小型 GPU 上运行
• + bge-large-en、bge-m3（多语言）
• - 在 MTEB 上略逊于闭源模型

Microsoft 的 e5-large 系列。实力强劲的 OSS 竞争者，在研究基准测试中很受欢迎。

MTEB（大规模文本嵌入基准测试）是标准排行榜：huggingface.co/spaces/mteb/leaderboard

请根据您的任务（检索、分类、聚类）和语言进行筛选。

以 100 万个文档（约 5 亿个令牌）为例：

• text-embedding-3-small：约 10 美元
• text-embedding-3-large：约 65 美元
• Cohere v3：约 50 美元
• 在 GPU 上运行本地 BGE：约 5 美元（电费）

如果您不能将数据发送给 OpenAI：

• 使用 sentence-transformers 自托管 BGE / E5
• 通过 AWS Bedrock 使用 Cohere（具有数据驻留承诺）
• 通过 Azure 使用 OpenAI（情况类似）

对于非英语内容：

• Cohere multilingual v3——支持范围最广
• bge-m3——能力出色的 OSS 多语言模型
• OpenAI text-embedding-3——表现出人意料地好，但更偏向英语

对于代码：voyage-code-3 或 jina-embeddings-v2-base-code

对于金融或法律：voyage-finance、voyage-law

对于科学：SPECTER、SciNCL

不要在同一个索引中混用不同模型生成的向量——它们无法进行比较。如果更换模型，请使用同一个模型重新生成所有嵌入向量。

正确的选择方法：

1. 构建一个小型评估集，其中包含（查询、预期文档）对
2. 使用两个模型分别为语料库生成嵌入向量
3. 在评估集上测量 recall@10
4. 选择表现更好的模型

可以在同一个索引中混用两个不同模型生成的嵌入向量吗？

默认使用 text-embedding-3-small；多语言场景可以考虑 Cohere，代码或特定领域可以考虑 Voyage，需要自托管时可以考虑 BGE。始终在自己的数据上进行基准测试。