Anlamsal Benzerlik ve Cümle Gömme Vektörleri
Sentence-BERT, anlamsal arama için kosinüs benzerliği, gömme vektörlerini kümeleme.
Anlamsal Benzerlik ve Cümle Gömme Vektörleri, CoddyKit'te ücretsiz bir Learn AI with Python dersidir. Bu, 4 dersinin 4. dersidir. Aşağıdan dersin tamamını ücretsiz okuyabilir, sonra tarayıcıda yerleşik kod editörü ve 7/24 yapay zeka koçu ile uygulamalı olarak pratik yapabilirsin. Bu, Learn AI with Python öğrenme yolunun bir parçasıdır ve ilerlemeniz web ve CoddyKit uygulaması arasında senkronize olur. Learn AI with Python kursu toplamda 4 dersten oluşur.
Yalnızca Kelimeler Değil, Cümleler
Kelime gömmeleri kelimeleri temsil eder, ancak çoğu zaman bütün cümleleri veya belgeleri karşılaştırmamız gerekir. Kelime vektörlerinin ortalamasını almak incelikleri kaybettirir; tam anlamı yakalayan tek bir vektör isteriz.
Cümle Gömmeleri Nedir
Cümle gömmeleri, bütün bir cümleyi tek bir yoğun vektöre dönüştürür; böylece benzer anlama sahip cümlelerin vektörleri birbirine yakın olur ve anlamsal arama ile kümeleme mümkün hale gelir.
sentence-transformers Kütüphanesi
sentence-transformers kütüphanesi bu işlemi kolaylaştırır. Doğrudan yüksek kaliteli cümle vektörleri üreten, ince ayarlanmış dönüştürücü modellerini kapsüller.
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")all-MiniLM-L6-v2 Neden Kullanılıyor
all-MiniLM-L6-v2 popüler bir varsayılandır: küçük, hızlı ve doğrudur; 384 boyutlu vektörler üretir. Çoğu uygulama için hız ile kalite arasında iyi bir denge kurar.
Cümleleri Kodlama
model.encode, bir cümle listesini gömme matrisine dönüştürür; her satır bir cümleye karşılık gelir.
sentences = [
"The cat sits on the mat.",
"A feline rests on the rug.",
"I am learning machine learning.",
]
embeddings = model.encode(sentences)
print(embeddings.shape) # (3, 384)Benzerliği Ölçme
Kosinüs benzerliği, büyüklüğü göz ardı ederek iki vektör arasındaki açıyı ölçer. 1'e yakın değerler anlamların çok benzer olduğunu, 0'a yakın değerlerse ilişkili olmadığını gösterir.
from sentence_transformers import util
sim = util.cos_sim(embeddings[0], embeddings[1])
print(sim.item()) # high, both about a cat restingsklearn ile cosine_similarity Kullanımı
Tam bir ikili benzerlik matrisi elde etmek için gömme matrisini doğrudan scikit-learn ile de kullanabilirsiniz.
from sklearn.metrics.pairwise import cosine_similarity
matrix = cosine_similarity(embeddings)
print(matrix) # (3, 3) pairwise similaritiesAnlamsal Arama Fikri
Anlamsal arama, belgeleri anahtar kelimelere göre değil, anlamlarına göre bulur. Bir sorguyu ve tüm belgeleri kodlayın, ardından belgeleri sorgu vektörüne olan kosinüs benzerliklerine göre sıralayın.
Anlamsal Arama Örneği
Derlemi bir kez kodlayın, ardından her sorgu için benzerlikleri hesaplayıp en iyi eşleşmeleri döndürün.
from sentence_transformers import util
corpus = ["How to reset my password", "Refund policy details", "Track my order"]
corpus_emb = model.encode(corpus)
query_emb = model.encode("I forgot my login")
hits = util.semantic_search(query_emb, corpus_emb, top_k=2)
print(hits)Gerçek Dünya Uygulamaları
Cümle gömmeleri FAQ eşleştirme, yinelenenleri tespit etme, kümeleme, öneri ve büyük dil modellerine ilgili bağlamı sağlayan RAG sistemlerindeki getirme adımını güçlendirir.
İyi Sonuçlar İçin İpuçları
Göreviniz için eğitilmiş bir model seçin (anlamsal arama veya yeniden ifade etme). Benzerlik ölçütünüz gerektiriyorsa gömmeleri normalleştirin; büyük derlemlerde hızlı en yakın komşu araması için bir vektör veritabanı kullanın.
Kısa Kontrol
Cümle gömmeleri bilginizi test edin.
Özet
Özet: Cümle gömmeleri, bütün cümleleri vektörlere kodlar. SentenceTransformer("all-MiniLM-L6-v2") ve model.encode(sentences) kullanın, ardından kosinüs benzerliği ile karşılaştırın. Bu yöntem anlamsal aramayı güçlendirir: sorguyu ve derlemi kodlayın, benzerliğe göre sıralayın. FAQ eşleştirme, kümeleme ve RAG ile bilgi getirme için temel bir yöntemdir.
Sıkça Sorulan Sorular
“Anlamsal Benzerlik ve Cümle Gömme Vektörleri” dersi ücretsiz mi?
Evet — “Anlamsal Benzerlik ve Cümle Gömme Vektörleri” dersin tüm metni burada web'de ücretsiz olarak okunabilir. Etkileşimli olarak pratik yapmak (yerleşik kod editörü ve 7/24 yapay zeka koçu) ve Learn AI with Python kursunun geri kalanını açmak için CoddyKit PRO'ya yükselt. Learn AI with Python kursu toplamda 4 dersten oluşur.
“Anlamsal Benzerlik ve Cümle Gömme Vektörleri” dersinde ne öğreneceğim?
Sentence-BERT, anlamsal arama için kosinüs benzerliği, gömme vektörlerini kümeleme. Learn AI with Python ile uygulamalı kodu tarayıcıda doğrudan çalıştırarak pratik yaparsın ve 7/24 yapay zeka koçu dersi çalışırken sorularını yanıtlar.
Learn AI with Python öğrenmeye başlamak için deneyim gerekli mi?
Önceden deneyim gerekmez. CoddyKit'te Learn AI with Python, başlangıçtan ileri seviyeye kadar yapılandırıldığı için buradan başlayabilir veya başından başlayıp kendi hızında ilerleme yapabilirsin. Bu, 4 dersinin 4. dersidir.
“Anlamsal Benzerlik ve Cümle Gömme Vektörleri” dersi ne kadar sürer?
Çoğu CoddyKit dersi yaklaşık 5–10 dakika sürer. Her biri kısa ve etkileşimli olduğu için sabit ilerleme yaparsın ve web ile uygulama arasında tam olarak bıraktığın yerden devam edebilirsin.
Bu Learn AI with Python dersinde kod yazıp çalıştırabilir miyim?
Evet. Her Learn AI with Python dersi yerleşik bir kod editörü içerir, bu sayede tarayıcıda gerçek kod yazıp çalıştırabilir ve anlık yapay zeka geri bildirimi alırsın — yerel kurulum gerekli değildir.
Bu kursun tüm dersleri
- Word2Vec: Skip-gram ve CBOW
- GloVe ve FastText Gömme Vektörleri
- BERT ile Metin Sınıflandırma
- Anlamsal Benzerlik ve Cümle Gömme Vektörleri