Comparer les modèles d’embeddings (OpenAI, Cohere et OSS)

OpenAI n'est pas le seul acteur du marché. Cohere, Voyage, Google et de nombreux modèles OSS proposent des représentations vectorielles performantes — parfois moins chères, plus multilingues ou spécialisées pour le code.

Le bon choix dépend du cas d'utilisation.

Le choix par défaut de la plupart des équipes :

• + Excellente qualité en anglais
• + Peu coûteux (0,02 $ / 1 M de jetons pour le petit modèle)
• + Jusqu'à 3072 dimensions avec Matryoshka
• - Hébergé uniquement à distance

Le modèle embed-multilingual-v3 de Cohere est l'option multilingue la plus performante :

• + Excellentes capacités multilingues (plus de 100 langues)
• + Modes distincts pour les requêtes et les documents
• - Légèrement plus coûteux

Recommandé par Anthropic, avec des modèles spécialisés performants :

• + voyage-3 — meilleur modèle polyvalent
• + voyage-code-3 — meilleur pour le code
• + voyage-finance / law — adaptés à leur domaine

La principale famille à code source ouvert de BAAI :

• + Gratuite, fonctionne sur CPU ou sur un petit GPU
• + bge-large-en, bge-m3 (multilingue)
• - Légèrement en retrait par rapport aux modèles fermés sur MTEB

La famille e5-large de Microsoft. Un concurrent OSS solide, populaire dans les comparatifs de recherche.

MTEB (comparatif massif des représentations vectorielles de texte) est le classement de référence : huggingface.co/spaces/mteb/leaderboard

Filtrez selon votre tâche (recherche, classification, regroupement) et votre langue.

Pour 1 million de documents (environ 500 millions de jetons) :

• text-embedding-3-small : environ 10 $
• text-embedding-3-large : environ 65 $
• Cohere v3 : environ 50 $
• BGE local sur un GPU : environ 5 $ (électricité)

Si vous ne pouvez pas envoyer de données à OpenAI :

• Hébergez vous-même BGE / E5 avec sentence-transformers
• Utilisez Cohere via AWS Bedrock (engagements de résidence des données)
• Utilisez OpenAI via Azure (engagements similaires)

Pour du contenu dans d'autres langues que l'anglais :

• Cohere multilingual v3 — prise en charge la plus étendue
• bge-m3 — solide modèle OSS multilingue
• OpenAI text-embedding-3 — étonnamment performant, mais davantage axé sur l'anglais

Pour le code : voyage-code-3 ou jina-embeddings-v2-base-code

Pour la finance et le droit : voyage-finance, voyage-law

Pour les sciences : SPECTER, SciNCL

Ne mélangez NOT pas les vecteurs de modèles différents dans le même index : ils ne sont pas comparables. Revectorisez tout avec un seul modèle si vous changez de modèle.

Voici la bonne méthode pour choisir :

1. Constituez un petit ensemble d'évaluation de paires (requête, documents attendus)
2. Vectorisez votre corpus avec les deux modèles
3. Mesurez le rappel@10 sur l'ensemble d'évaluation
4. Choisissez le gagnant

Par défaut, choisissez text-embedding-3-small ; explorez Cohere pour le multilingue, Voyage pour le code et les domaines spécialisés, et BGE pour l'hébergement autonome. Évaluez toujours les modèles sur vos propres données.