Pemilihan Few-Shot Dinamis

Few-shot statis menggunakan contoh yang sama untuk setiap kueri. Few-shot dinamis mengambil demonstrasi yang paling relevan untuk setiap kueri dari suatu kumpulan, sehingga model dikondisikan dengan contoh yang menyerupai input saat ini.

Ini adalah pembelajaran dalam konteks yang diperkuat dengan retrieval: pendekatan ini meningkatkan relevansi demonstrasi, yang merupakan salah satu faktor pengungkit terkuat bagi kualitas ICL, terutama pada lalu lintas yang heterogen.

Hitung terlebih dahulu embedding untuk setiap demonstrasi kandidat dan simpan embedding tersebut dalam indeks tetangga terdekat aproksimatif (FAISS, HNSW, atau basis data vektor). Saat kueri diterima, lakukan embed pada input sekali dan ambil kecocokan teratas.

Pilih model embedding yang selaras dengan semantik tugas Anda; embedder generik dapat mengelompokkan data berdasarkan fitur permukaan, bukan dimensi yang memprediksi label yang benar.

Metode kanonis (Liu et al., 2022) mengambil k tetangga terdekat dari kueri dalam kumpulan berlabel dan menggunakannya sebagai demonstrasi. Seleksi berbasis retrieval secara konsisten mengungguli seleksi acak karena demo yang relevan membantu mengenali tugas dan menyediakan ruang label yang tepat.

Label yang diambil juga berfungsi sebagai prior pengklasifikasi kNN lunak, yang mendorong model ke arah jawaban para tetangga.

Top-k murni dapat menghasilkan duplikat yang hampir sama, sehingga memboroskan konteks. Terapkan MMR atau pengelompokan pada kandidat yang diambil untuk mempertahankan relevansi sekaligus memastikan demo yang dipilih mencakup aspek-aspek kueri yang berbeda.

Hal ini paling penting untuk input komposisional, ketika setiap subaspek yang berbeda memerlukan demonstrasi yang mewakili.

Seleksi dinamis menambahkan pemanggilan embedding dan pencarian ANN pada setiap permintaan. Perhitungkan hal ini dalam anggaran: simpan embedding kueri untuk input yang berulang, lakukan retrieval secara berkelompok, dan simpan indeks di memori.

Untuk sistem dengan QPS tinggi, langkah retrieval harus berlangsung di bawah satu milidetik; jika tidak, peningkatan relevansi akan tersisih oleh tambahan latensi ekor.

Demo dinamis merusak penyimpanan tembolok awalan prompt karena blok contoh berubah pada setiap kueri. Atasi hal ini dengan mempertahankan pembuka yang stabil dan disimpan di tembolok (instruksi serta beberapa contoh universal), lalu tambahkan hanya demo yang diambil dan spesifik terhadap kueri setelahnya.

Pendekatan ini mengembalikan sebagian besar penghematan dari penyimpanan tembolok sekaligus mempertahankan relevansi per kueri pada bagian akhir.

Jika kueri itu sendiri berada dalam kumpulan (hal yang umum selama evaluasi), retrieval dapat mengembalikan jawaban yang persis sama sehingga metrik meningkat secara semu. Selalu kecualikan kueri dan tetangga yang hampir identik dengan kemiripan di atas ambang batas selama evaluasi.

Dalam produksi, hapus duplikat dari kumpulan dan cegah input pengguna sebelumnya dikembalikan sebagai demonstrasi milik pengguna tersebut.

Pada tahap awal, kumpulan masih kecil sehingga retrieval mungkin menghasilkan kecocokan yang lemah. Mulailah dengan kumpulan statis yang telah dikurasi, lalu kembangkan kumpulan dari rekam jejak produksi yang telah diverifikasi, dengan menghitung ulang embedding dan membangun ulang indeks secara berkala.

Lacak penggunaan dan hasil setiap demo agar Anda dapat memangkas contoh yang bernilai rendah atau sudah usang serta menjaga indeks tetap ringkas.

Relevansi tetangga terdekat merupakan pengaturan default yang kuat, tetapi tidak selalu optimal. Selektor tingkat lanjut mempertimbangkan keinformatifan (apakah demo tersebut menyelesaikan ambiguitas kueri?), keberagaman, dan cakupan label. Beberapa metode mempelajari kebijakan seleksi yang memaksimalkan akurasi hilir, bukan kemiripan mentah.

Pandang seleksi sebagai proses memilih kumpulan demonstrasi yang paling banyak mengurangi ketidakpastian model terhadap kueri ini.

Bandingkan sistem dinamis dengan acuan statis dan acak pada data yang disisihkan dan dikendalikan dari kebocoran. Laporkan akurasi, distribusi kemiripan retrieval, latensi menyeluruh, dan tingkat keberhasilan penggunaan tembolok.

Sistem dinamis yang unggul dalam akurasi tetapi sangat mengurangi penggunaan kembali tembolok dapat merugikan secara keseluruhan dari sisi biaya; evaluasi sasaran secara menyeluruh, bukan hanya kualitas.

Secara menyeluruh: kumpulan demonstrasi terverifikasi, model embedding, indeks ANN dalam memori, selektor yang menerapkan perlindungan kebocoran, keberagaman, dan pengurutan berdasarkan kemiripan, pembuka stabil yang disimpan di tembolok, serta putaran umpan balik yang mengembangkan dan memangkas kumpulan.

Arsitektur ini mengubah prompting few-shot menjadi sistem retrieval dengan disiplin operasional yang menyertainya.

Inti pembelajaran:

• Few-shot dinamis mengambil demonstrasi untuk setiap kueri dan mengungguli pendekatan acak atau statis dengan meningkatkan relevansi.
• Sematkan kumpulan ke dalam indeks ANN; prompting kNN adalah pengaturan default yang kuat, dengan urutan berdasarkan kemiripan menaik.
• Tambahkan keberagaman (MMR) dan pertimbangkan selektor keinformatifan atau pengurangan ketidakpastian.
• Lindungi sistem dari kebocoran retrieval, kelola latensi, dan pertahankan pembuka statis yang disimpan di tembolok bersama bagian akhir yang dinamis.
• Kembangkan dan pangkas kumpulan dari rekam jejak terverifikasi; evaluasi akurasi, latensi, dan penggunaan tembolok secara bersamaan.