Urus Versi Gesaan dan Nilai Output
Jejak perubahan gesaan dan berikan skor kepada respons.
Urus Versi Gesaan dan Nilai Output ialah pelajaran MLOps Academy percuma di CoddyKit. Ini ialah pelajaran 2 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran MLOps Academy, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus MLOps Academy merangkumi sejumlah 4 pelajaran.
Gesaan Ialah Kod
Gesaan yang ditulis semula boleh mengubah tingkah laku dalam sekelip mata. Oleh itu, anda menganggap setiap gesaan sebagai artifak yang dikawal versinya, lengkap dengan sejarah, semakan dan keupayaan untuk berundur kepada versi terdahulu. 📝
Simpan Gesaan, Bukan Rentetan
Rentetan berkod keras yang bertaburan dalam kod mustahil dijejaki. Simpan gesaan dalam daftar atau fail supaya setiap perubahan dapat dilihat dan dibandingkan.
prompts/summarize_ticket.v2.txt
prompts/summarize_ticket.v3.txtTandai Setiap Versi
Berikan setiap gesaan pengecam versi yang jelas dan boleh ditetapkan dalam kod. Dengan itu, anda sentiasa tahu perkataan tepat yang menghasilkan sesuatu keluaran.
PROMPT_VERSION = "summarize-v3"
template = load_prompt(PROMPT_VERSION)Bina Set Data Penilaian
Kumpulkan masukan sebenar bersama jawapan yang anda inginkan. Set penilaian ini menjadi ukuran anda untuk menentukan sama ada perubahan gesaan benar-benar membantu.
cases = [
{"input": "ticket text...", "expected": "Refund requested"},
]Beri Skor Berbanding Rujukan
Bagi tugas yang mempunyai jawapan yang diketahui, bandingkan keluaran dengan teks yang dijangka. Metrik mudah seperti padanan tepat atau F1 memberikan isyarat lulus-gagal dengan pantas.
Gunakan LLM sebagai Penilai
Bagi teks terbuka, minta model lain menilai jawapan berdasarkan rubrik. Corak LLM sebagai penilai ini membolehkan pemarkahan dilakukan pada skala yang lebih besar berbanding peraturan tulisan tangan.
judge_prompt = "Rate 1-5 how well the summary captures the ticket:\n{output}"Pantau Penilai Itu Sendiri
Penilai boleh berat sebelah atau tidak konsisten. Anda memastikan penilai kekal boleh dipercayai dengan menyemak secara rawak skor berbanding beberapa penilaian manusia pada kes yang sama.
Jalankan Penilaian pada Setiap Perubahan
Sebelum menerbitkan gesaan baharu, jalankannya pada keseluruhan set penilaian. Anda hanya menaikkannya ke pengeluaran jika skor kekal atau bertambah baik, bukan berdasarkan sangkaan.
old = run_eval("summarize-v2")
new = run_eval("summarize-v3")
assert new.score >= old.scoreJejaki Kemerosotan Prestasi
Gesaan yang membaiki satu kes boleh merosakkan kes yang lain. Membandingkan hasil bagi setiap kes mengesan kemerosotan prestasi ini sebelum pengguna melihatnya.
Rangka Kerja Membantu
Alat seperti promptfoo atau OpenAI Evals menjalankan set data, memanggil model dan melaporkan skor untuk anda. Rangka kerja menukar pengujian ad hoc menjadi himpunan ujian yang boleh diulang.
Tetapkan Pemenang
Setelah sesuatu versi menang dalam penilaian anda, tetapkan versi itu dalam pengeluaran dan arkibkan yang lain. Kini anda mempunyai jejak yang jelas dan boleh diaudit daripada gesaan kepada hasil.
Semakan Pantas
Anda perlu memberi skor kepada ringkasan terbuka yang tidak mempunyai satu jawapan yang betul. Apakah yang paling sesuai?
Imbas Kembali
Anda telah belajar untuk mengawal versi gesaan, membina set penilaian, memberi skor menggunakan metrik atau penilai LLM dan menetapkan hasil sebagai syarat pelepasan. Tiada lagi tekaan! 🎉
Pelajari Python dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 30
- Pelajaran
- 120
Soalan Lazim
Adakah pelajaran “Urus Versi Gesaan dan Nilai Output” percuma?
Ya — teks penuh “Urus Versi Gesaan dan Nilai Output” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus MLOps Academy, tingkat taraf kepada CoddyKit PRO. Kursus MLOps Academy merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Urus Versi Gesaan dan Nilai Output”?
Jejak perubahan gesaan dan berikan skor kepada respons. Anda berlatih MLOps Academy menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan MLOps Academy?
Tiada pengalaman terdahulu diperlukan. Pembelajaran MLOps Academy di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 2 daripada 4.
Berapa lamakah pelajaran “Urus Versi Gesaan dan Nilai Output” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran MLOps Academy ini?
Ya. Setiap pelajaran MLOps Academy menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Perbezaan LLMOps daripada MLOps Klasik
- Urus Versi Gesaan dan Nilai Output
- Jejak dan Pantau Panggilan LLM
- Penghad Kawalan dan Penilaian RAG