0Pricing
LangChain / RAG / Vector DBs · Pelajaran

RAG Multimodal dengan Gambar dan Tabel

Perluas RAG melampaui teks biasa untuk mengambil dan menalar berdasarkan gambar, bagan, dan tabel terstruktur.

RAG Multimodal dengan Gambar dan Tabel adalah pelajaran LangChain / RAG / Vector DBs gratis di CoddyKit. Ini adalah pelajaran 4 dari 4. Kamu bisa membaca pelajaran lengkapnya di bawah secara gratis — lalu praktikkan langsung di browser dengan editor kode bawaan dan tutor AI 24/7. Ini adalah bagian dari jalur belajar LangChain / RAG / Vector DBs, dan progresmu tersinkronisasi di web dan aplikasi CoddyKit. Kursus LangChain / RAG / Vector DBs mencakup 4 pelajaran total.

Bagian dari pelajaran ini belum diterjemahkan dan ditampilkan dalam bahasa Inggris.

Beyond Plain Text

Real documents contain images, charts, and tables. Multimodal RAG indexes and retrieves these non-text elements so the model can answer questions that depend on them.

What Counts as Multimodal

Multimodal sources include scanned pages, diagrams, screenshots, photos, and spreadsheet-style tables embedded in PDFs or web pages.

  • Images
  • Charts and figures
  • Tables

Strategy 1: Describe Then Embed

Use a vision model to generate a text description of each image, then embed the description with your normal text embeddings. Retrieval stays text-based.

caption = vision_model.describe(image)
store.add_texts([caption], metadatas=[{"image": image_id}])

Strategy 2: Multimodal Embeddings

Models like CLIP embed images and text into the same vector space, so a text query can directly match an image without a caption step.

Handling Tables

Tables lose meaning when flattened. Preserve structure by converting each table to Markdown or HTML before chunking so rows and headers stay linked.

table_md = "| Year | Revenue |\n|---|---|\n| 2024 | 10M |\n| 2025 | 12M |"
store.add_texts([table_md], metadatas=[{"type": "table"}])

Summarizing Large Tables

For wide or long tables, store both a natural-language summary (for retrieval) and the raw table (for the answer), linking them by id.

Routing by Modality

At query time, detect what the question needs. A request about a chart should retrieve image elements; a numeric lookup should target tables.

Passing Images to the LLM

Multimodal LLMs accept images directly in the prompt. After retrieving the relevant image, include it alongside the question for grounded reasoning.

messages = [{"role": "user", "content": [
    {"type": "text", "text": "What trend does this chart show?"},
    {"type": "image_url", "image_url": {"url": img_url}},
]}]

Citing Visual Sources

Track which image or table produced an answer in metadata, so you can show the user the exact figure or table the model relied on.

Cost and Latency

Vision calls and image embeddings cost more than text. Cache captions, downscale images, and only invoke vision when the query truly needs it.

Putting It Together

Extract images and tables during loading, index them via captions or multimodal embeddings, route queries by modality, and feed the right element to a multimodal LLM.

Quick Check

Test your understanding of multimodal RAG.

Recap

You extended RAG to multiple modalities:

  • Describe-then-embed or multimodal embeddings for images
  • Preserve table structure as Markdown
  • Route queries by modality
  • Feed images to a multimodal LLM and cite visual sources

Pertanyaan yang Sering Diajukan

Apakah pelajaran “RAG Multimodal dengan Gambar dan Tabel” gratis?

Ya — teks lengkap “RAG Multimodal dengan Gambar dan Tabel” gratis dibaca di sini di web. Untuk praktiknya secara interaktif (editor kode bawaan dan tutor AI 24/7) dan buka sisa kursus LangChain / RAG / Vector DBs, upgrade ke CoddyKit PRO. Kursus LangChain / RAG / Vector DBs mencakup 4 pelajaran total.

Apa yang akan aku pelajari di “RAG Multimodal dengan Gambar dan Tabel”?

Perluas RAG melampaui teks biasa untuk mengambil dan menalar berdasarkan gambar, bagan, dan tabel terstruktur. Kamu berlatih LangChain / RAG / Vector DBs dengan kode praktik yang langsung kamu jalankan di browser, dan tutor AI 24/7 menjawab pertanyaanmu saat kamu mengerjakan pelajaran ini.

Apakah aku perlu pengalaman untuk memulai LangChain / RAG / Vector DBs?

Tidak diperlukan pengalaman sebelumnya. LangChain / RAG / Vector DBs di CoddyKit dirancang untuk pemula hingga pelajar tingkat lanjut, jadi kamu bisa memulai di sini atau dari awal dan belajar sesuai kecepatan kamu sendiri. Ini adalah pelajaran 4 dari 4.

Berapa lama pelajaran “RAG Multimodal dengan Gambar dan Tabel” memakan waktu?

Sebagian besar pelajaran CoddyKit memakan waktu sekitar 5–10 menit. Setiap pelajaran ringkas dan interaktif, jadi kamu membuat kemajuan stabil dan melanjutkan dari tempat kamu tinggalkan di web dan aplikasi.

Bisakah aku menulis dan menjalankan kode dalam pelajaran LangChain / RAG / Vector DBs ini?

Ya. Setiap pelajaran LangChain / RAG / Vector DBs menyertakan editor kode bawaan, jadi kamu menulis dan menjalankan kode nyata langsung di browser dan mendapatkan umpan balik AI instan — tidak diperlukan penyiapan lokal.

Semua pelajaran dalam kursus ini

  1. RAG untuk Generasi dan Bantuan Kode
  2. Membangun Sistem RAG Waktu Nyata
  3. Tren dan Riset Terbaru dalam RAG
  4. RAG Multimodal dengan Gambar dan Tabel
← Kembali ke LangChain / RAG / Vector DBs