AI Engineering Academy · Pelajaran

Kapan Penyetelan Halus Mengungguli Pemberian Perintah

Pelajaran 1 dari 413 langkah

Kapan Penyetelan Halus Mengungguli Pemberian Perintah adalah pelajaran AI Engineering Academy gratis di CoddyKit. Ini adalah pelajaran 1 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar AI Engineering Academy, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus AI Engineering Academy mencakup 4 pelajaran total.

Pertukaran Inti

Ketika Anda perlu membuat LLM berperilaku dengan cara tertentu, Anda memiliki dua pilihan mendasar: rekayasa prompt (memberi tahu model apa yang harus dilakukan saat inferensi menggunakan prompt yang dirancang dengan cermat) atau fine-tuning (mengajarkan perilaku baru kepada model dengan melatihnya menggunakan contoh). Keduanya dapat mencapai hasil serupa untuk banyak tugas, tetapi berbeda secara signifikan dalam biaya, kecepatan, fleksibilitas, dan batas kualitas yang dapat dicapai.

Kapan Prompting Lebih Baik

Prompting hampir selalu merupakan titik awal yang tepat. Pendekatan ini tidak memerlukan infrastruktur pelatihan, menghasilkan hasil dalam hitungan jam, dapat diperbarui secara instan tanpa pelatihan ulang, dan bekerja dengan baik untuk tugas yang sudah dapat ditangani model dasar secara memadai. Mulailah dengan prompting untuk: tugas yang sudah menghasilkan hasil yang dapat diterima dari GPT-4o atau Claude dengan instruksi yang jelas, kebutuhan yang berubah dengan cepat, kasus penggunaan bervolume rendah, dan situasi ketika Anda masih menjelajahi ruang masalah.

# Prompting is sufficient for most well-defined tasks
system_prompt = '''
You are a customer support agent for TechCorp. Your tone is friendly but professional.
Always:
1. Acknowledge the customer's issue in the first sentence
2. Provide step-by-step solutions with numbered lists
3. End with 'Is there anything else I can help you with?'
Never: reveal pricing, discuss competitors, or make promises about future features.
'''

# With clear instructions, GPT-4o handles this well - no fine-tuning needed
# Before investing in fine-tuning, prove prompting is insufficient

Konsistensi Gaya dan Kepatuhan terhadap Format

Fine-tuning lebih unggul ketika Anda memerlukan format keluaran yang sangat konsisten dan tidak dapat dihasilkan secara andal oleh prompting. Jika aplikasi Anda memerlukan kepatuhan 100% terhadap skema JSON tertentu, format dokumen yang terstruktur secara presisi, atau gaya penulisan yang sangat spesifik dan berbeda dari keluaran alami model, fine-tuning dengan beberapa ratus contoh dapat mencapai konsistensi yang hampir sempurna, bahkan tidak dapat disaingi oleh prompt yang direkayasa dengan sangat cermat.

# Problem: prompting gives 90% format compliance - 10% failures cause downstream errors
# Prompt approach (unreliable)
system = 'Always respond with JSON: {"category": "...", "priority": 1-5, "tags": [...]}'
# 1 in 10 responses adds explanation text, omits a field, or uses strings for priority

# Fine-tuned approach: train on 500 examples of perfect output
# Training example format:
train_example = {
    'messages': [
        {'role': 'system', 'content': 'Classify customer support tickets.'},
        {'role': 'user', 'content': 'My order is late and I need it for tomorrow.'},
        {'role': 'assistant', 'content': '{"category": "shipping", "priority": 4, "tags": ["late_delivery", "urgent"]}'}
    ]
}
# After fine-tuning: 99.5%+ format compliance with minimal system prompt

Pengetahuan Domain Proprietari

Fine-tuning merupakan pilihan yang tepat ketika model perlu mempelajari pengetahuan yang tidak terdapat dalam data pelatihan publik: konvensi pengodean internal perusahaan Anda, taksonomi proprietari untuk mengklasifikasikan dokumen, terminologi hukum atau medis khusus dalam domain tertentu, atau panduan suara dan gaya khusus merek Anda. Pengetahuan ini tidak dapat disampaikan secara efektif melalui contoh dalam prompt karena jumlah contoh melebihi kapasitas jendela konteks.

# Example: Internal code style with dozens of company-specific conventions
# Too many rules to fit in a prompt effectively:

# Company conventions (partial list of 200+):
# - Use AppException instead of RuntimeError
# - Repositories are named FooRepository not FooRepo
# - Service methods use handle_verb_noun naming not do_action
# - Config values go through AppConfig.get(), never os.environ directly
# - ... 196 more conventions

# Prompting: you can include ~20 conventions before the model starts ignoring them
# Fine-tuning: train on 1000 examples of compliant vs. non-compliant code
# Result: model learns ALL conventions and applies them automatically

Mengurangi Biaya Token melalui Prompt yang Lebih Pendek

Argumen ekonomi utama untuk fine-tuning adalah kompresi prompt. Prompt sistem yang kompleks mungkin berisi 2.000 token. Jika Anda memanggil API 10 juta kali per hari, 2.000 token tersebut dapat menelan biaya puluhan ribu dolar per bulan. Model yang telah melalui fine-tuning dapat diarahkan dengan prompt yang jauh lebih pendek (50–100 token) karena instruksi terperinci kini sudah tertanam dalam bobot model. Dalam skala besar, hal ini dapat mengurangi biaya token masukan sebesar 90% atau lebih.

COST_PER_1K_TOKENS_INPUT = 0.0050  # gpt-4o
DAILY_REQUESTS = 10_000_000

# Base model with detailed prompt
base_prompt_tokens = 2000
daily_input_tokens_base = DAILY_REQUESTS * base_prompt_tokens
daily_cost_base = (daily_input_tokens_base / 1000) * COST_PER_1K_TOKENS_INPUT

# Fine-tuned model with short prompt
fine_tuned_prompt_tokens = 50
daily_input_tokens_ft = DAILY_REQUESTS * fine_tuned_prompt_tokens
daily_cost_ft = (daily_input_tokens_ft / 1000) * COST_PER_1K_TOKENS_INPUT

print(f'Base model daily input cost: ${daily_cost_base:,.2f}')
print(f'Fine-tuned model daily input cost: ${daily_cost_ft:,.2f}')
print(f'Monthly savings: ${(daily_cost_base - daily_cost_ft) * 30:,.2f}')
# Base: $100,000/day. Fine-tuned: $2,500/day. Savings: ~$2.9M/month

Peningkatan Latensi

Model yang telah melalui fine-tuning dapat meningkatkan latensi dalam dua cara. Pertama, prompt yang lebih pendek berarti model memproses lebih sedikit token masukan sehingga waktu hingga token pertama berkurang secara langsung. Kedua, model yang telah melalui fine-tuning sering kali lebih cepat mencapai format yang benar (lebih sedikit token dalam respons sebelum mencapai jawaban sebenarnya), sehingga jumlah token keluaran dan waktu pembangkitan total berkurang. Untuk aplikasi yang sensitif terhadap latensi, kedua dampak ini saling memperkuat dan menghasilkan peningkatan yang berarti.

# Latency comparison (approximate)

# Base model with 2000-token prompt:
# - Input tokens processed: 2000 + 50 (user query) = 2050
# - Response: often starts with 'Sure! Here is...' (5-10 unnecessary tokens)
# - TTFT: ~800ms (more tokens to process)

# Fine-tuned model with 50-token prompt:
# - Input tokens processed: 50 + 50 (user query) = 100
# - Response: starts directly with the answer (no preamble)
# - TTFT: ~100ms (few tokens to process)

# For classification tasks (short outputs), this is a 5-8x latency improvement
# For generation tasks, improvement is less dramatic but still significant

print('Fine-tuning trades upfront training cost for per-request latency+cost savings')

Persyaratan Data Minimum

Fine-tuning memerlukan data pelatihan—dan hal ini sering kali menjadi hambatan praktis terbesar. Sebagai patokan umum: Anda memerlukan setidaknya 50–100 contoh berkualitas tinggi untuk melihat peningkatan yang berarti dibandingkan model dasar, 500–1.000 contoh untuk kepatuhan gaya/format yang andal, dan 1.000–10.000 contoh untuk memperoleh pengetahuan domain yang signifikan. Jika jumlahnya di bawah 50 contoh, prompting menggunakan contoh yang sama dalam konteks (few-shot) biasanya akan mengungguli fine-tuning.

def estimate_fine_tuning_feasibility(num_examples: int, task_type: str) -> str:
    if num_examples < 50:
        return 'Insufficient data. Use few-shot prompting with these examples instead.'
    
    if task_type == 'format_adherence' and num_examples >= 100:
        return 'Fine-tuning recommended. Format consistency issues are hard to solve with prompting.'
    
    if task_type == 'style_matching' and num_examples >= 300:
        return 'Fine-tuning recommended. Consistent style requires enough examples to learn the distribution.'
    
    if task_type == 'domain_knowledge' and num_examples >= 500:
        return 'Fine-tuning recommended if knowledge is truly proprietary.'
    
    return 'Continue with advanced prompting (chain-of-thought, structured output) and revisit fine-tuning when you have more data.'

Biaya Tersembunyi Fine-Tuning

Fine-tuning memiliki biaya tersembunyi yang signifikan di luar biaya komputasi. Anda memerlukan: infrastruktur untuk menjalankan pelatihan (jam GPU atau layanan terkelola), proses pengumpulan dan pengendalian kualitas kumpulan data, evaluasi untuk memverifikasi bahwa model yang telah melalui fine-tuning benar-benar meningkatkan metrik sasaran, alur penerapan untuk model khusus, serta proses pemeliharaan berkelanjutan untuk melatih ulang model ketika model dasar diperbarui atau kebutuhan Anda berubah. Biaya-biaya ini nyata dan harus dipertimbangkan bersama manfaatnya.

fine_tuning_total_cost = {
    'data_collection_and_QA': '$5,000-$50,000',  # human annotation or LLM-generated
    'training_compute': '$50-$5,000',             # depends on model size and data volume
    'evaluation_pipeline': '$500-$2,000',         # building eval harness
    'deployment_infra': '$200-$2,000/month',      # serving the custom model
    'maintenance': '$1,000-$5,000/year',          # retraining when things change
    'opportunity_cost': 'weeks to months',        # time to build vs. prompt iteration
}

# Compare to prompting costs:
prompting_costs = {
    'data_needed': None,  # no training data required
    'infra': '$0 (uses existing API)',
    'maintenance': 'update prompts when needed',
    'time_to_production': 'hours to days'
}

Kesegaran Pengetahuan: RAG vs Fine-Tuning

Fine-tuning tidak dapat memperbarui pengetahuan secara waktu nyata. Pengetahuan model yang telah melalui fine-tuning dibekukan pada saat pelatihan. Untuk kasus penggunaan yang memerlukan informasi terkini (peristiwa terbaru, harga langsung, peraturan yang berubah), RAG selalu lebih baik karena dapat mengambil informasi terbaru pada saat kueri. Fine-tuning unggul untuk pengetahuan yang tahan lama dan jarang berubah: gaya penulisan perusahaan Anda, taksonomi kategorisasi produk, atau kosakata teknis dari domain yang sudah mapan.

# Decision guide: RAG vs Fine-tuning vs Prompting

def choose_approach(requirements: dict) -> str:
    if requirements.get('knowledge_changes_frequently'):  # pricing, news, live data
        return 'RAG - knowledge must be updatable at query time'
    
    if requirements.get('needs_consistent_format') and requirements.get('high_volume'):
        return 'Fine-tuning - format adherence + cost savings at scale'
    
    if requirements.get('proprietary_domain_vocabulary'):
        return 'Fine-tuning - model needs to learn new terminology'
    
    if requirements.get('low_volume') or requirements.get('still_exploring'):
        return 'Prompting - fastest iteration, lowest cost'
    
    if requirements.get('combination_needed'):  # most production systems
        return 'Fine-tuning for style/format + RAG for dynamic knowledge'

Kerangka Keputusan Fine-Tuning yang Ideal

Gunakan kerangka keputusan ini sebelum berkomitmen pada fine-tuning. Pertama, buktikan kebutuhannya: jalankan prompt terbaik Anda pada 1.000 contoh nyata dan ukur tingkat kegagalannya. Kedua, ukur manfaatnya: perkirakan ROI dari peningkatan akurasi, biaya token yang lebih rendah, atau latensi yang lebih baik. Ketiga, nilai kelayakannya: apakah Anda memiliki lebih dari 500 contoh pelatihan berkualitas tinggi? Terakhir, bandingkan alternatifnya: apakah model yang lebih kecil dengan prompt yang lebih baik dapat menyamai kinerja model yang lebih besar dengan prompt yang kompleks?

Menggabungkan Prompting dan Fine-Tuning

Sistem produksi terbaik sering kali menggabungkan kedua pendekatan tersebut. Lakukan fine-tuning untuk properti yang tahan lama (format keluaran, nada, kosakata domain) yang jarang berubah, dan gunakan prompt untuk properti dinamis (konteks tugas, dokumen yang diambil, preferensi pengguna) yang berubah pada setiap permintaan. Kombinasi ini memberi Anda keandalan dan efisiensi biaya fine-tuning tanpa mengorbankan fleksibilitas prompting.

Pemeriksaan Singkat

Uji pemahaman Anda tentang kapan fine-tuning lebih unggul daripada prompting berdasarkan pelajaran ini.

Jawab di pelajaran interaktif

Rangkuman Pelajaran

Dalam pelajaran ini, Anda telah mempelajari bahwa prompting hampir selalu merupakan titik awal yang tepat karena biayanya lebih rendah dan iterasinya lebih cepat, fine-tuning unggul untuk kepatuhan format yang konsisten, pengetahuan domain proprietari, dan pengurangan biaya token dalam volume tinggi, serta kesegaran pengetahuan merupakan ranah RAG—fine-tuning tidak dapat memperbarui apa yang diketahui model saat runtime. Selanjutnya, kita akan menyiapkan kumpulan data pelatihan berkualitas tinggi untuk fine-tuning.

Gratis untuk memulai

Belajar Python dengan tutor AI — gratis

Tulis dan jalankan kode asli di browser kamu, dapatkan bantuan instan dari tutor AI 24/7, dan lanjutkan di mana kamu tinggalkan di web atau aplikasi.

Kursus: 30
Pelajaran: 120

Mulai belajar gratis Lihat kursus lengkapnya

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Kapan Penyetelan Halus Mengungguli Pemberian Perintah” gratis?

Ya — teks lengkap “Kapan Penyetelan Halus Mengungguli Pemberian Perintah” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus AI Engineering Academy, upgrade ke CoddyKit PRO. Kursus AI Engineering Academy mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Kapan Penyetelan Halus Mengungguli Pemberian Perintah”?

Identifikasi kasus penggunaan ketika penyetelan halus lebih menguntungkan daripada rekayasa perintah: kepatuhan gaya yang konsisten, pengetahuan domain milik sendiri, biaya token yang lebih rendah be… Kamu berlatih AI Engineering Academy dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai AI Engineering Academy?

Tidak diperlukan pengalaman sebelumnya. AI Engineering Academy di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 1 dari 4.

Berapa lama pelajaran “Kapan Penyetelan Halus Mengungguli Pemberian Perintah” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran AI Engineering Academy ini?

Ya. Setiap pelajaran AI Engineering Academy menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

Kapan Penyetelan Halus Mengungguli Pemberian Perintah
Menyiapkan Kumpulan Data Pelatihan Berkualitas Tinggi
Penyetelan Halus LoRA dengan Hugging Face PEFT
Mengevaluasi dan Menerapkan Model yang Disetel Halus

← Kembali ke AI Engineering Academy