Embeddingモデルの比較（OpenAI、Cohere、OSS）

OpenAIだけが選択肢ではありません。Cohere、Voyage、Google、多くのOSSモデルも競争力のある埋め込みを提供しています。より安価、多言語対応、またはコード向けに特化している場合もあります。

適切な選択はユースケースによって異なります。

多くのチームにとってのデフォルトです。

• + 英語の品質が高い
• + 安価（smallは100万トークンあたり0.02ドル）
• + Matryoshkaにより最大3072次元
• - クラウドのみ

Cohereのembed-multilingual-v3は、最も優れた多言語対応の選択肢です。

• + 多言語性能が非常に高い（100以上の言語）
• + クエリモードとドキュメントモードが分かれている
• - やや高価

Anthropicが推奨する、特化性能の高いモデル群です。

• + voyage-3 — 汎用モデルとして最上位
• + voyage-code-3 — コードに最適
• + voyage-finance / law — 各分野向けに調整済み

BAAIが提供する主要なオープンソースファミリーです。

• + 無料で、CPUまたは小規模なGPUで実行可能
• + bge-large-en、bge-m3（多言語対応）
• - MTEBではクローズドモデルにやや劣る

Microsoftのe5-largeファミリーです。強力なOSSモデルの候補であり、研究ベンチマークでも広く使われています。

MTEB（Massive Text Embedding Benchmark）は標準的なランキングです。huggingface.co/spaces/mteb/leaderboard

自分のタスク（検索、分類、クラスタリング）と言語で絞り込んでください。

100万件のドキュメント（約5億トークン）の場合です。

• text-embedding-3-small：約10ドル
• text-embedding-3-large：約65ドル
• Cohere v3：約50ドル
• GPU上のローカルBGE：約5ドル（電気代）

OpenAIにデータを送信できない場合は、次の方法があります。

• sentence-transformersでBGE / E5をセルフホストする
• AWS Bedrock経由でCohereを使用する（データレジデンシーに関するコミットメントがあります）
• Azure経由でOpenAIを使用する（同様の対応が可能です）

英語以外のコンテンツには、次の選択肢があります。

• Cohere multilingual v3 — 最も幅広く対応
• bge-m3 — 強力なOSS多言語モデル
• OpenAI text-embedding-3 — 英語寄りですが、驚くほど高性能

コード向け：voyage-code-3またはjina-embeddings-v2-base-code

金融・法律向け：voyage-finance、voyage-law

科学向け：SPECTER、SciNCL

異なるモデルのベクトルを同じインデックスで混在させないでください。これらは比較できません。モデルを切り替える場合は、1つのモデルですべてを再度埋め込んでください。

適切な選び方は次のとおりです。

1. （クエリ、期待するドキュメント）のペアから小規模な評価セットを作成する
2. 両方のモデルでコーパスを埋め込む
3. 評価セットでrecall@10を測定する
4. 優れたモデルを選ぶ

異なる2つのモデルの埋め込みを、1つのインデックスで混在させることはできますか。

まずはtext-embedding-3-smallをデフォルトにし、多言語対応にはCohere、コードや特定分野にはVoyage、セルフホスティングにはBGEを検討してください。必ず自分のデータでベンチマークを行ってください。