Keserupaan Semantik dan Benaman Ayat
Sentence-BERT, keserupaan kosinus untuk carian semantik, pengelompokan benaman.
Keserupaan Semantik dan Benaman Ayat ialah pelajaran Pelajari AI dengan Python percuma di CoddyKit. Ini ialah pelajaran 4 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Pelajari AI dengan Python, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Pelajari AI dengan Python merangkumi sejumlah 4 pelajaran.
Ayat, Bukan Sekadar Perkataan
Pembenaman perkataan mewakili perkataan, tetapi kita sering perlu membandingkan ayat atau dokumen lengkap. Merata-ratakan vektor perkataan menghilangkan nuansa; kita mahukan satu vektor yang menangkap keseluruhan makna.
Apakah Pembenaman Ayat
Pembenaman ayat memetakan seluruh ayat kepada satu vektor padat supaya ayat yang mempunyai makna serupa memiliki vektor yang berdekatan, sekali gus membolehkan semantic search dan pengelompokan.
Pustaka sentence-transformers
Pustaka sentence-transformers memudahkan perkara ini. Pustaka tersebut membungkus model transformer yang dilaras halus untuk menghasilkan vektor ayat berkualiti tinggi secara langsung.
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")Mengapa all-MiniLM-L6-v2
all-MiniLM-L6-v2 ialah pilihan lalai yang popular: kecil, pantas dan tepat, serta menghasilkan vektor berdimensi 384. Model ini mengimbangi kelajuan dan kualiti dengan baik untuk kebanyakan aplikasi.
Mengekod Ayat
model.encode menukarkan senarai ayat kepada matriks pembenaman, dengan satu baris bagi setiap ayat.
sentences = [
"The cat sits on the mat.",
"A feline rests on the rug.",
"I am learning machine learning.",
]
embeddings = model.encode(sentences)
print(embeddings.shape) # (3, 384)Mengukur Keserupaan
cosine similarity mengukur sudut antara dua vektor tanpa mengambil kira magnitud. Nilai yang hampir kepada 1 bermakna makna sangat serupa, manakala nilai yang hampir kepada 0 bermakna tidak berkaitan.
from sentence_transformers import util
sim = util.cos_sim(embeddings[0], embeddings[1])
print(sim.item()) # high, both about a cat restingMenggunakan sklearn cosine_similarity
Anda juga boleh menggunakan scikit-learn secara langsung pada matriks pembenaman untuk mendapatkan matriks keserupaan berpasangan penuh.
from sklearn.metrics.pairwise import cosine_similarity
matrix = cosine_similarity(embeddings)
print(matrix) # (3, 3) pairwise similaritiesIdea semantic search
semantic search mencari dokumen berdasarkan makna, bukan kata kunci. Lakukan encode pada pertanyaan dan semua dokumen, kemudian susun kedudukan dokumen berdasarkan cosine similarity terhadap vektor pertanyaan.
Contoh semantic search
Lakukan encode pada korpus sekali, kemudian bagi setiap pertanyaan, hitung keserupaan dan kembalikan padanan teratas.
from sentence_transformers import util
corpus = ["How to reset my password", "Refund policy details", "Track my order"]
corpus_emb = model.encode(corpus)
query_emb = model.encode("I forgot my login")
hits = util.semantic_search(query_emb, corpus_emb, top_k=2)
print(hits)Aplikasi Dunia Sebenar
Pembenaman ayat menggerakkan padanan FAQ, pengesanan pendua, pengelompokan, pengesyoran dan langkah pengambilan semula dalam sistem RAG yang membekalkan konteks berkaitan kepada model bahasa besar.
Petua untuk Hasil yang Baik
Pilih model yang dilatih untuk tugas anda, sama ada semantic search atau parafrasa. Normalkan pembenaman jika metrik keserupaan anda memerlukannya, dan bagi korpus besar, gunakan pangkalan data vektor untuk carian jiran terdekat yang pantas.
Semakan Pantas
Uji pengetahuan anda tentang pembenaman ayat.
Imbas Kembali
Imbas kembali: Pembenaman ayat mengekod seluruh ayat menjadi vektor. Gunakan SentenceTransformer("all-MiniLM-L6-v2") dan model.encode(sentences), kemudian bandingkan dengan cosine similarity. Kaedah ini menggerakkan semantic search: lakukan encode pada pertanyaan dan korpus, kemudian susun kedudukan berdasarkan keserupaan. Kaedah ini penting untuk padanan FAQ, pengelompokan dan pengambilan semula RAG.
Pelajari Python dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 53
- Pelajaran
- 225
Soalan Lazim
Adakah pelajaran “Keserupaan Semantik dan Benaman Ayat” percuma?
Ya — sebanyak 3 pelajaran dalam laluan pembelajaran Pelajari AI dengan Python, termasuk “Keserupaan Semantik dan Benaman Ayat”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus Pelajari AI dengan Python merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Keserupaan Semantik dan Benaman Ayat”?
Sentence-BERT, keserupaan kosinus untuk carian semantik, pengelompokan benaman. Anda berlatih Pelajari AI dengan Python menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Pelajari AI dengan Python?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Pelajari AI dengan Python di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 4 daripada 4.
Berapa lamakah pelajaran “Keserupaan Semantik dan Benaman Ayat” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Pelajari AI dengan Python ini?
Ya. Setiap pelajaran Pelajari AI dengan Python menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Word2Vec: Skip-gram dan CBOW
- Benaman GloVe dan FastText
- Pengelasan Teks dengan BERT
- Keserupaan Semantik dan Benaman Ayat