Learn AI with Python · Pelajaran

Rekayasa Prompt untuk Aplikasi LLM Produksi

Perancangan prompt sistem, contoh few-shot, pemformatan keluaran, logika percobaan ulang, optimasi biaya.

Rekayasa Prompt untuk Aplikasi LLM Produksi adalah pelajaran Learn AI with Python gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar Learn AI with Python, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus Learn AI with Python mencakup 4 pelajaran total.

Menulis Instruksi dalam Produksi

Dalam aplikasi nyata, instruksi adalah kode: instruksi memerlukan struktur, pengujian, dan keandalan. Rekayasa instruksi yang baik mengurangi halusinasi, menegakkan format keluaran, dan mengendalikan biaya. Pelajaran ini membahas teknik yang penting dalam produksi.

Perancangan Instruksi Sistem

Instruksi sistem menetapkan peran, nada, batasan, dan aturan model. Bersikaplah spesifik: nyatakan apa itu asisten, apa yang harus dan tidak boleh dilakukannya, serta format jawabannya. Instruksi sistem yang jelas adalah alat pengarahan Anda yang paling kuat.

system = (
    "You are a support agent for an e-commerce store. "
    "Answer only questions about orders and shipping. "
    "If asked anything else, politely decline. "
    "Keep replies under 3 sentences."
)

Contoh dengan Beberapa Kasus

Pemberian instruksi berbasis beberapa contoh berarti menunjukkan pasangan masukan/keluaran kepada model agar model mempelajari polanya. Tempatkan pasangan tersebut sebagai pesan pengguna/asisten yang berselang-seling sebelum permintaan sebenarnya.

messages = [
    {"role": "system", "content": system},
    {"role": "user", "content": "Classify: I love this!"},
    {"role": "assistant", "content": "positive"},
    {"role": "user", "content": "Classify: This broke instantly."},
    {"role": "assistant", "content": "negative"},
    {"role": "user", "content": "Classify: It is okay I guess."}
]

Mengapa Beberapa Contoh Efektif

Contoh memperjelas maksud Anda dengan lebih baik daripada instruksi saja. Contoh menetapkan gaya keluaran yang tepat (satu kata, JSON, atau label) dan secara drastis meningkatkan konsistensi untuk tugas klasifikasi, ekstraksi, dan pemformatan.

Memaksa Keluaran JSON

Untuk balasan yang dapat dibaca mesin, minta mode JSON dengan response_format. Dengan {"type": "json_object"}, model dibatasi untuk menghasilkan JSON yang valid, yang kemudian dapat Anda uraikan dengan aman.

response = client.chat.completions.create(
    model="gpt-4o",
    messages=messages,
    response_format={"type": "json_object"}
)
import json
data = json.loads(response.choices[0].message.content)

Menghitung Token dengan tiktoken

Batas biaya dan konteks diukur dalam token. Pustaka tiktoken menghitung token secara lokal sehingga Anda dapat membuat anggaran sebelum mengirimkan permintaan. Instal dengan pip install tiktoken.

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")
tokens = enc.encode("Hello, how are you?")
print(len(tokens))

Mengapa Penghitungan Token Penting

Setiap model memiliki jendela konteks (jumlah token maksimum) dan Anda membayar per token. Penghitungan lebih awal memungkinkan Anda memangkas riwayat, menolak masukan yang terlalu besar, dan memperkirakan biaya sebelum pemanggilan meninggalkan server Anda.

def cost_estimate(text, price_per_1k=0.005):
    enc = tiktoken.encoding_for_model("gpt-4o")
    n = len(enc.encode(text))
    return n, n / 1000 * price_per_1k

Menangani Batas Laju

Lalu lintas produksi menghadapi batas laju (HTTP 429) dan kesalahan sementara. Alih-alih berhenti karena kesalahan, gunakan retry dengan penundaan eksponensial. Pustaka tenacity menjadikannya dekorator satu baris.

pip install tenacity

from tenacity import retry, wait_exponential, stop_after_attempt

Mencoba Lagi dengan tenacity

Hiasi pemanggilan API Anda dengan @retry. Gunakan wait_exponential untuk memperpanjang jeda antarpercobaan dan stop_after_attempt untuk membatasi jumlah percobaan total. Cara ini memungkinkan aplikasi tetap berjalan dengan baik saat terjadi gangguan sementara.

@retry(wait=wait_exponential(min=1, max=30), stop=stop_after_attempt(5))
def ask(prompt):
    return client.chat.completions.create(
        model="gpt-4o",
        messages=[{"role": "user", "content": prompt}]
    )

Mendefinisikan Skema JSON untuk Keluaran

Saat memaksa mode JSON, selalu jelaskan bentuk tepat yang Anda inginkan di dalam instruksi agar kunci-kuncinya dapat diprediksi. Menuliskan skema dalam teks biasa, ditambah mode JSON, memberi Anda hasil yang selalu dapat diuraikan dan divalidasi.

system = (
    "Return ONLY JSON with this shape: "
    "{\"sentiment\": \"positive|negative|neutral\", "
    "\"confidence\": number between 0 and 1}"
)

Menggabungkan Semuanya

Alur instruksi produksi: rancang instruksi sistem yang ketat, tambahkan contoh dengan beberapa kasus, paksa keluaran JSON bila diperlukan, hitung token untuk mengelola biaya dan konteks, lalu bungkus pemanggilan dalam logika retry. Bersama-sama, semua ini membuat fitur LLM dapat diandalkan.

Pemeriksaan Singkat

Uji pengetahuan Anda tentang penulisan instruksi dalam produksi.

Ringkasan: Penyusunan Instruksi Produksi

Anda belajar menyusun instruksi sistem yang ketat, mengarahkan perilaku dengan contoh beberapa kasus, dan menjamin balasan terstruktur melalui mode JSON response_format. Anda menghitung token dengan tiktoken untuk mengelola konteks dan biaya, serta menambahkan ketahanan dengan percobaan ulang tenacity untuk mengatasi batas laju.

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Rekayasa Prompt untuk Aplikasi LLM Produksi” gratis?

Ya — teks lengkap “Rekayasa Prompt untuk Aplikasi LLM Produksi” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus Learn AI with Python, upgrade ke CoddyKit PRO. Kursus Learn AI with Python mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Rekayasa Prompt untuk Aplikasi LLM Produksi”?

Perancangan prompt sistem, contoh few-shot, pemformatan keluaran, logika percobaan ulang, optimasi biaya. Kamu berlatih Learn AI with Python dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai Learn AI with Python?

Tidak diperlukan pengalaman sebelumnya. Learn AI with Python di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.

Berapa lama pelajaran “Rekayasa Prompt untuk Aplikasi LLM Produksi” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran Learn AI with Python ini?

Ya. Setiap pelajaran Learn AI with Python menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

API OpenAI: chat.completions dan Streaming
API Anthropic Claude dalam Python
Pemanggilan Fungsi dan Penggunaan Alat dengan LLM
Rekayasa Prompt untuk Aplikasi LLM Produksi

← Kembali ke Learn AI with Python