AI Prompt Engineering · Pelajaran

Mengendalikan Keluaran Multimodal

Membentuk respons dengan media campuran.

Mengendalikan Keluaran Multimodal adalah pelajaran AI Prompt Engineering gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar AI Prompt Engineering, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus AI Prompt Engineering mencakup 4 pelajaran total.

Mengendalikan Keluaran Media Campuran

Pengendalian keluaran adalah disiplin untuk membentuk format respons ketika jawaban mencakup teks, data terstruktur, dan rujukan ke media yang dibuat atau dipilih. Model secara bawaan akan menggunakan prosa; sistem produksi memerlukan artefak yang dapat diurai, dirender, dan disusun.

Anda sedang menentukan kontrak perenderan, bukan sekadar mengajukan pertanyaan.
Keandalan format lebih penting daripada kekayaan format — bentuk yang mudah diprediksi lebih unggul.

Memisahkan Konten dari Presentasi

Minta model mengeluarkan konten terstruktur, lalu render media di sisi Anda. Meminta model teks mengeluarkan byte gambar mentah atau tata letak yang penuh markup itu rapuh; memintanya menghasilkan deskripsi bertipe yang kemudian diubah perender Anda menjadi media jauh lebih andal.

Model menentukan apa; alur pemrosesan Anda menentukan tampilannya.

block = {
  'type': 'figure',
  'caption': 'Quarterly revenue',
  'chart': {'kind': 'bar', 'x': ['Q1','Q2'], 'y': [10, 14]},
  'alt_text': 'Bar chart rising from 10 to 14.'
}

Skema Respons Bertipe Blok

Modelkan respons kaya sebagai daftar blok bertipe yang berurutan: text, code, image_ref, table, chart_spec. Setiap blok hanya membawa bidang yang diperlukan oleh tipenya. Perender Anda menelusuri daftar tersebut dan menghasilkan komponen yang tepat untuk setiap tipe.

Dengan cara inilah antarmuka obrolan, laporan, dan pembuat salindia tetap andal untuk ribuan respons.

schema = {
  'blocks': [
    {'type': 'text', 'value': '...'},
    {'type': 'code', 'lang': 'python', 'value': '...'},
    {'type': 'image_ref', 'id': 'fig1', 'alt': '...'},
    {'type': 'table', 'columns': [...], 'rows': [...]}
  ]
}

Merujuk Media dibandingkan Menyematkannya

Utamakan rujukan daripada penyematan. Model mengeluarkan id atau spesifikasi pembuatan; sistem Anda menyelesaikannya menjadi aset nyata. Hal ini memisahkan tahap bahasa dari tahap media dan memungkinkan Anda menyimpan dalam cache, membuat ulang, atau mengganti aset tanpa memberikan perintah ulang.

Sematkan: respons membawa aset secara langsung (berat, rapuh).
Rujuk: respons membawa penunjuk atau resep (ringan, mudah disusun).

image_block = {
  'type': 'image_ref',
  'spec': {'prompt': 'minimal line icon of a gear', 'size': '512x512'},
  'alt': 'Settings gear icon'
}
# Pipeline calls the image model with spec, fills in the URL.

Membatasi Spesifikasi Pembuatan

Ketika model menulis spesifikasi untuk pembuat hilir (gambar, bagan, TTS), batasi spesifikasi tersebut dengan ketat. Spesifikasi terbuka dapat menyimpang; pilihan yang sudah ditentukan tetap sesuai merek dan anggaran.

Berikan kosakata terkendali kepada model: jenis bagan yang diizinkan, gaya gambar yang diizinkan, suara yang diizinkan — dan larang penyimpangan bebas.

chart_spec = {
  'kind': 'one of [bar, line, scatter]',   # enumerated
  'palette': 'brand_default',               # not a hex free-for-all
  'max_series': 4
}

Bidang Aksesibilitas Wajib

Setiap blok media harus membawa bidang teks alternatif atau transkrip, dan Anda harus menjadikannya wajib dalam skema. Ini merupakan persyaratan aksesibilitas sekaligus pegangan verifikasi — teks alternatif mengungkapkan apa yang dimaksudkan model untuk disampaikan oleh media tersebut, sehingga dapat Anda cocokkan dengan spesifikasinya.

Urutan Penyisipan dan Maksud Tata Letak

Urutan blok adalah tata letaknya. Jika model mengembalikan bagan sebelum paragraf yang menjelaskannya, dokumen hasil render akan terasa keliru. Nyatakan maksud tata letak: 'teks penjelas mendahului gambar yang dijelaskannya; gambar selalu diikuti ringkasan satu baris.'

Kodekan aturan urutan baca agar daftar blok dirender menjadi narasi yang padu.

Anggaran Panjang dan Kepadatan per Blok

Kendalikan tingkat kerincian pada tingkat blok, bukan secara global. Keterangan gambar terdiri dari satu baris; pembuka bagian berupa paragraf pendek; tabel dibatasi hingga N baris. Anggaran per blok mencegah model membesarkan satu komponen sementara mengabaikan komponen lain.

'Keterangan: maksimal 12 kata.'
'Tabel: maksimal 8 baris; rangkum sisanya sebagai baris terakhir.'

limits = {'caption_words': 12, 'table_rows': 8, 'intro_sentences': 3}

Siklus Validasi dan Perbaikan

Skema media campuran hanya sebaik validator Anda. Urai daftar blok, validate setiap blok terhadap skema tipenya, dan jika gagal, kirim perintah perbaikan terarah yang menyebutkan pelanggaran secara tepat.

Perbaikan lebih baik daripada membuat ulang: meminta ulang seluruh respons membuang token dan dapat merusak bagian yang sudah benar.

def validate(blocks):
    for b in blocks:
        if b['type'] == 'image_ref' and 'alt' not in b:
            return f'Block {b} missing required alt text'
    return None  # ok

Media Campuran dalam Aliran

Saat melakukan streaming, setiap blok harus dapat diurai secara individual agar antarmuka pengguna dapat merendernya segera setelah selesai, tanpa menunggu seluruh respons. Keluarkan satu objek JSON yang terbentuk dengan benar untuk setiap blok (dipisahkan oleh baris baru), bukan satu larik raksasa yang baru valid setelah tanda kurung penutup terakhir.

Streaming satu blok setiap kali menghasilkan antarmuka yang responsif dan memungkinkan validasi lebih awal.

{'type': 'text', 'value': 'Revenue grew this quarter.'}
{'type': 'chart_spec', 'kind': 'bar', 'x': ['Q1','Q2'], 'y': [10,14], 'alt': '...'}
{'type': 'text', 'value': 'The bulk came from new accounts.'}

Kontrak Pengendalian Keluaran

Kontrak media campuran yang lengkap menentukan: kosakata blok bertipe, rujukan alih-alih penyematan, spesifikasi pembuatan yang telah ditentukan, alt/transkrip wajib, aturan urutan baca, anggaran per blok, dan serialisasi yang mendukung streaming. Kemas semuanya sebagai blok sistem yang dapat digunakan ulang, maka perender Anda menjadi sasaran yang stabil untuk berbagai tugas.

Pemeriksaan Singkat

Anda sedang membangun pembuat laporan yang responsnya mencampurkan paragraf, tabel, dan gambar, lalu dirender oleh front end Anda sendiri.

Rangkuman: Membentuk Respons Media Campuran

Perlakukan keluaran kaya sebagai kontrak perenderan: kosakata blok bertipe, media sebagai rujukan atau spesifikasi pembuatan yang dibatasi alih-alih penyematan, bidang alt/transkrip wajib, aturan urutan baca dan anggaran per blok yang eksplisit, serta serialisasi yang mendukung streaming dengan validasi dan perbaikan. Pisahkan hal yang diputuskan model dari cara alur pemrosesan Anda merendernya, sehingga respons media campuran menjadi mudah diprediksi, dapat diaudit, dan mudah disusun.

Pertanyaan yang Sering Diajukan

Apakah pelajaran “Mengendalikan Keluaran Multimodal” gratis?

Ya — teks lengkap “Mengendalikan Keluaran Multimodal” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus AI Prompt Engineering, upgrade ke CoddyKit PRO. Kursus AI Prompt Engineering mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “Mengendalikan Keluaran Multimodal”?

Membentuk respons dengan media campuran. Kamu berlatih AI Prompt Engineering dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai AI Prompt Engineering?

Tidak diperlukan pengalaman sebelumnya. AI Prompt Engineering di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.

Berapa lama pelajaran “Mengendalikan Keluaran Multimodal” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran AI Prompt Engineering ini?

Ya. Setiap pelajaran AI Prompt Engineering menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

← Kembali ke AI Prompt Engineering