임베딩 모델 비교(OpenAI, Cohere, OSS)

OpenAI만 선택할 수 있는 것은 아닙니다. Cohere, Voyage, Google 및 여러 OSS 모델도 경쟁력 있는 임베딩을 제공합니다. 더 저렴하거나, 다국어 성능이 뛰어나거나, 코드에 특화된 경우도 있습니다.

적절한 선택은 사용 사례에 따라 달라집니다.

대부분의 팀이 기본으로 선택하는 모델입니다:

• + 뛰어난 영어 품질
• + 저렴함(소형 모델은 토큰 100만 개당 $0.02)
• + Matryoshka를 사용하면 최대 3072차원
• - 클라우드 전용

Cohere의 embed-multilingual-v3는 가장 강력한 다국어 선택지입니다:

• + 뛰어난 다국어 성능(100개 이상의 언어)
• + 질의 모드와 문서 모드를 পৃথ পৃথ로 제공
• - 약간 더 비쌈

Anthropic이 권장하는 강력한 특화 모델입니다:

• + voyage-3 — 범용 성능이 가장 뛰어남
• + voyage-code-3 — 코드에 가장 적합함
• + voyage-finance / law — 특정 분야에 맞게 조정됨

BAAI에서 제공하는 선도적인 오픈 소스 제품군입니다:

• + 무료이며 CPU 또는 소형 GPU에서 실행 가능
• + bge-large-en, bge-m3(다국어)
• - MTEB에서 비공개 모델보다 약간 뒤처짐

Microsoft의 e5-large 제품군입니다. 강력한 OSS 경쟁 모델로, 연구 벤치마크에서 널리 사용됩니다.

MTEB(Massive Text Embedding Benchmark)는 표준 순위표입니다: huggingface.co/spaces/mteb/leaderboard

작업 유형(검색, 분류, 군집화)과 언어를 기준으로 필터링합니다.

문서 100만 개(약 5억 토큰)의 경우:

• text-embedding-3-small: 약 $10
• text-embedding-3-large: 약 $65
• Cohere v3: 약 $50
• GPU에서 로컬 BGE 실행: 약 $5(전기 요금)

OpenAI로 데이터를 보낼 수 없다면 다음과 같이 할 수 있습니다:

• sentence-transformers를 사용해 BGE / E5를 직접 호스팅합니다
• AWS Bedrock을 통해 Cohere를 사용합니다(데이터 상주 관련 약정)
• Azure를 통해 OpenAI를 사용합니다(유사한 방식)

영어가 아닌 콘텐츠의 경우:

• Cohere multilingual v3 — 가장 폭넓은 지원
• bge-m3 — 강력한 OSS 다국어 모델
• OpenAI text-embedding-3 — 놀라울 정도로 우수하지만 영어에 치우침

코드: voyage-code-3 또는 jina-embeddings-v2-base-code

금융/법률: voyage-finance, voyage-law

과학: SPECTER, SciNCL

서로 다른 모델의 벡터를 같은 색인에서 혼합하지 NOT 마십시오. 서로 비교할 수 없습니다. 모델을 바꾼다면 모든 데이터를 하나의 모델로 다시 임베딩해야 합니다.

적절한 모델을 선택하는 방법은 다음과 같습니다:

1. (질의, 예상 문서) 쌍으로 구성된 작은 평가 세트를 만듭니다
2. 두 모델로 말뭉치를 임베딩합니다
3. 평가 세트에서 recall@10을 측정합니다
4. 더 나은 모델을 선택합니다

기본값으로 text-embedding-3-small을 사용하고, 다국어에는 Cohere, 코드와 특정 분야에는 Voyage, 직접 호스팅에는 BGE를 검토합니다. 항상 자신의 데이터로 벤치마크를 수행합니다.