Mengemas Kini dan Memadam Vektor
Pastikan indeks segerak dengan sumber: lakukan upsert apabila dokumen berubah, padam apabila dokumen dibuang dan kendalikan embedding semula.
Mengemas Kini dan Memadam Vektor ialah pelajaran Ejen AI percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Ejen AI, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Ejen AI merangkumi sejumlah 4 pelajaran.
Sebahagian daripada pelajaran ini belum diterjemahkan dan dipaparkan dalam bahasa Inggeris.
Index Tidak Beku
Dokumen sebenar berubah. Index mesti mengikut perubahan tersebut:
- Dokumen baharu ditambah
- Dokumen sedia ada disunting
- Dokumen lama dipadam atau diarkibkan
Upsert (Sisip atau Kemas Kini)
Kebanyakan pangkalan data vektor menyokong upsert — tulis vektor dengan ID tertentu dan gantikan vektor lama jika wujud:
index.upsert([
('doc-42', new_vector, {'source': 'a.pdf', 'updated_at': now})
])
# If doc-42 already exists, it is overwritten.ID Deterministik
Jika anda menggunakan ID berdasarkan cincangan kandungan, "kemas kini" berlaku secara automatik — kandungan sama = ID sama = slot sama.
Jika anda menggunakan UUID, anda mesti menjejaki UUID yang tergolong dalam dokumen sumber tertentu.
Mengesan Perubahan
Untuk membandingkan korpus, simpan cincangan bagi setiap bahagian:
old_chunks = load_existing_chunks(source)
new_chunks = chunk_doc(source)
old_hashes = {c.id for c in old_chunks}
new_hashes = {c.id for c in new_chunks}
to_delete = old_hashes - new_hashes
to_add = new_hashes - old_hashes
# Skip unchanged — saves re-embeddingPadam mengikut Penapis
Kebanyakan pangkalan data menyokong pemadaman mengikut penapis, berguna untuk "delete semuanya daripada sumber ini":
index.delete(filter={'source': '/old/file.pdf'})Delete by ID
index.delete(ids=['doc-1', 'doc-2', 'doc-3'])Padam Secara Lembut
Kadang-kadang anda mahu "menyembunyikan" tanpa mengalih keluar — tetapkan bendera deleted_at dan tapisnya keluar pada masa query:
index.upsert([('doc-42', vec, {'deleted_at': now})])
# At query time:
results = index.query(vector=query_vec, top_k=5, filter={'deleted_at': {'$exists': False}})Pemadatan
Pemadaman yang kerap menyebabkan indeks menjadi jarang. Bina semula secara berkala untuk meningkatkan prestasi — kebanyakan pangkalan data melakukannya secara automatik; semak dokumentasi penyedia anda.
Jana Semula Pembenaman Apabila Model Berubah
Jika anda menaik taraf model pembenaman, setiap vektor sedia ada menjadi tidak serasi. Strateginya:
- Tulis kepada koleksi lama dan baharu secara serentak semasa migrasi
- Alihkan trafik bacaan kepada koleksi baharu apabila selesai
- Gugurkan koleksi lama
Saluran Paip Berperingkat
Saluran paip penyerapan data yang teguh:
def sync_doc(source_path):
new_chunks = chunk_and_hash(load(source_path))
existing_ids = index.fetch_ids_by_source(source_path)
new_ids = {c.id for c in new_chunks}
to_add = [c for c in new_chunks if c.id not in existing_ids]
to_remove = existing_ids - new_ids
if to_remove:
index.delete(ids=list(to_remove))
if to_add:
index.upsert([(c.id, embed(c.text), c.metadata) for c in to_add])Mengaudit Penyimpangan
Sahkan secara berkala bahawa indeks sepadan dengan sumber kebenaran. Kira baris bagi setiap sumber dalam pangkalan data dan indeks vektor anda; beri amaran jika terdapat ketidakpadanan.
Kemas Kini Didorong Webhook
Untuk sistem pengurusan dokumen (Notion, Confluence, GDrive), gunakan webhook untuk mencetuskan penyegerakan berperingkat apabila berlaku perubahan — jauh lebih murah daripada merangkak semula semuanya.
Penanda Tombstone untuk Pemadaman Teragih
Dalam indeks teragih, "delete" selalunya menulis penanda tombstone. Sehingga pemadatan dijalankan, query mungkin masih melihat tombstone itu — kekalkan penapis anda.
Kemas Kini Idempoten
Apakah cara paling mudah untuk menjadikan penyerapan data selamat dijalankan semula?
Imbas Kembali
Rancang untuk kemas kini sejak hari pertama: ID berasaskan cincangan, penyerapan data berasaskan perbandingan dan laluan untuk menukar model pembenaman tanpa masa henti.
Pelajari Ejen AI dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 60
- Pelajaran
- 239
Soalan Lazim
Adakah pelajaran “Mengemas Kini dan Memadam Vektor” percuma?
Ya — teks penuh “Mengemas Kini dan Memadam Vektor” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Ejen AI, tingkat taraf kepada CoddyKit PRO. Kursus Ejen AI merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Mengemas Kini dan Memadam Vektor”?
Pastikan indeks segerak dengan sumber: lakukan upsert apabila dokumen berubah, padam apabila dokumen dibuang dan kendalikan embedding semula. Anda berlatih Ejen AI menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Ejen AI?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Ejen AI di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.
Berapa lamakah pelajaran “Mengemas Kini dan Memadam Vektor” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Ejen AI ini?
Ya. Setiap pelajaran Ejen AI menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Perbandingan Pinecone, Weaviate dan Qdrant
- Penapisan Metadata untuk Carian Hibrid
- Mengemas Kini dan Memadam Vektor
- Memilih Metrik Jarak (cosine, L2, dot)