검색을 위한 코사인 유사도

유사도 측정

코사인 유사도 공식

NumPy를 사용한 Python 구현

import numpy as np

def cosine_similarity(a, b):
    a = np.array(a)
    b = np.array(b)
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

print(cosine_similarity(vec_apple, vec_orange))   # high
print(cosine_similarity(vec_apple, vec_car))      # low

사전 정규화된 벡터

def cosine_normalized(a, b):
    return np.dot(a, b)   # faster

상위 K개 검색

def topk(query_vec, doc_vecs, k=5):
    scores = [(np.dot(query_vec, v), i) for i, v in enumerate(doc_vecs)]
    scores.sort(reverse=True)
    return scores[:k]

규모 확장

유클리드 거리를 사용하지 않는 이유

내적과 코사인 유사도

A Tiny End-to-End Retrieval

docs = ['Python is a programming language', 'Pizza is Italian food', 'The Eiffel Tower is in Paris']
doc_vecs = [embed(d) for d in docs]

query_vec = embed('What is Python?')
scores = [(cosine_similarity(query_vec, v), d) for v, d in zip(doc_vecs, docs)]
scores.sort(reverse=True)
for s, d in scores:
    print(f'{s:.3f}  {d}')
# 0.83  Python is a programming language
# 0.45  Pizza is Italian food
# 0.41  The Eiffel Tower is in Paris

하이브리드 검색

임계값 기반 필터링

results = [r for r in retrieved if r.score > 0.7]

코사인 유사도의 범위

요약