LLM Apps in Production (RAG + Vector DB + Caching) · 강의

다양한 문서 형식 불러오기

PDF, 웹 페이지, 데이터베이스, 사용자 지정 파일 형식 등 다양한 원천에서 데이터를 수집하는 방법을 살펴봅니다.

다양한 문서 형식 불러오기은(는) CoddyKit의 무료 LLM Apps in Production (RAG + Vector DB + Caching) 강의입니다. 이것은 4개 중 1번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 LLM Apps in Production (RAG + Vector DB + Caching) 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. LLM Apps in Production (RAG + Vector DB + Caching) 강의에는 총 4개의 강의가 포함되어 있습니다.

이 강의의 일부는 아직 번역되지 않았으며 영어로 표시됩니다.

Ingesting Diverse Document Types

Welcome! In RAG, your LLM needs information from various sources. This lesson explores how to load data from different document formats into your application.

The goal is to get raw text from places like web pages, PDFs, and databases, preparing it for the next steps in your RAG pipeline.

Loading Web Pages (HTML)

Web pages are a common source of information. To ingest them, you typically:

Fetch the HTML: Use an HTTP client to download the page content from a URL.
Parse the HTML: Extract the main text and discard navigation, ads, and other irrelevant elements.

Libraries like requests for fetching and BeautifulSoup for parsing are very popular in Python.

Web Page Loading Example

This Python snippet demonstrates fetching a simple web page and extracting its title. Imagine doing this for many pages to build your knowledge base!

import requests
from bs4 import BeautifulSoup

def main():
    url = "http://quotes.toscrape.com/"
    try:
        response = requests.get(url)
        response.raise_for_status() # Raise HTTPError for bad responses
        soup = BeautifulSoup(response.text, 'html.parser')
        title = soup.find('title').get_text()
        print(f"Page Title: {title}")
    except requests.exceptions.RequestException as e:
        print(f"Error fetching URL: {e}")

if __name__ == "__main__":
    main()

Extracting Text from PDFs

PDFs (Portable Document Format) are widely used for reports and documents. Extracting text from PDFs can be tricky due to their complex structure, which combines text, images, and formatting.

Fortunately, programming libraries exist to help. They can read the PDF structure and pull out the textual content, often page by page.

PDF Text Extraction Example

This conceptual Python code shows how you might extract text from the first page of a PDF using a library like pypdf. For a real run, you'd need a sample.pdf file.

from pypdf import PdfReader

def main():
    # In a real scenario, 'sample.pdf' would exist
    # For this example, we'll simulate the output
    pdf_file_path = "sample.pdf"
    print(f"Attempting to read from: {pdf_file_path}")
    print("\n--- Simulated PDF Content ---")
    print("This is some text from the first page of a sample PDF document.")
    print("It contains important information for our RAG system.")
    print("-----------------------------")
    # Actual code might look like this:
    # reader = PdfReader(pdf_file_path)
    # page = reader.pages[0]
    # text = page.extract_text()
    # print(text)

if __name__ == "__main__":
    main()

Loading Data from Databases

Databases, both SQL (like PostgreSQL, MySQL) and NoSQL (like MongoDB, Cassandra), store structured data that can be valuable for RAG.

To ingest from databases:

Connect: Establish a connection using database drivers.
Query: Write queries (e.g., SQL statements) to retrieve relevant data.
Process: Extract text fields from the query results.

Database Loading Example

Here's a Python example using SQLite, an embedded SQL database. It creates a simple table, inserts data, and then retrieves it. This is a common pattern for database ingestion.

import sqlite3

def main():
    # Connect to an in-memory SQLite database
    conn = sqlite3.connect(':memory:')
    cursor = conn.cursor()

    # Create a simple table
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS documents (
            id INTEGER PRIMARY KEY,
            title TEXT,
            content TEXT
        )
    ''')

    # Insert some data
    cursor.execute("INSERT INTO documents (title, content) VALUES (?, ?)", 
                   ("RAG Overview", "RAG enhances LLMs by retrieving relevant docs."))
    cursor.execute("INSERT INTO documents (title, content) VALUES (?, ?)", 
                   ("Vector DBs", "Store embeddings for fast similarity search."))
    conn.commit()

    # Retrieve data
    cursor.execute("SELECT title, content FROM documents")
    rows = cursor.fetchall()

    print("--- Retrieved Documents ---")
    for row in rows:
        print(f"Title: {row[0]}, Content: {row[1]}")
    print("---------------------------")

    conn.close()

if __name__ == "__main__":
    main()

Handling Plain Text & Custom Files

Beyond specific formats, you'll often deal with plain text files (.txt, .md) or custom formats (e.g., CSV, JSON). For these:

Plain Text: Read directly, paying attention to encoding (UTF-8 is common).
Custom Formats: Use libraries specific to the format (e.g., csv, json modules in Python) to parse and extract text fields.

The key is transforming the data into a usable text string.

Unified Data Loading with Libraries

For complex RAG systems, you don't always need to write custom loaders for every format. Libraries like LlamaIndex and LangChain offer 'Document Loaders' that abstract away much of this complexity.

They provide connectors for many data sources (web, PDF, databases, cloud storage).
They often handle basic parsing and text extraction automatically.

These tools simplify the initial ingestion step, letting you focus on retrieval and generation.

Check Your Knowledge

Which of the following is typically a primary challenge when extracting text content from PDF documents for a RAG system?

Recap: Loading Diverse Data

Great job! You've learned the fundamentals of loading diverse document formats for your RAG system.

We covered fetching and parsing web pages.
Discussed extracting text from complex PDFs.
Explored querying databases for structured content.
Touched upon handling plain text and other custom files.
Recognized the value of unified data loading libraries.

The next step is to prepare this raw text for effective retrieval!

자주 묻는 질문

“다양한 문서 형식 불러오기” 강의는 무료인가요?

네 — “다양한 문서 형식 불러오기” 전체 내용을 이 웹사이트에서 무료로 읽을 수 있습니다. 인터랙티브하게 실습하려면(내장 코드 에디터와 24/7 AI 튜터), CoddyKit PRO로 업그레이드하면 LLM Apps in Production (RAG + Vector DB + Caching) 강의 전체를 잠금 해제할 수 있습니다. LLM Apps in Production (RAG + Vector DB + Caching) 강의에는 총 4개의 강의가 포함되어 있습니다.

“다양한 문서 형식 불러오기”에서 뭘 배우나요?

PDF, 웹 페이지, 데이터베이스, 사용자 지정 파일 형식 등 다양한 원천에서 데이터를 수집하는 방법을 살펴봅니다. 브라우저에서 직접 실행하는 실습 코드로 LLM Apps in Production (RAG + Vector DB + Caching)을(를) 배우며, 24/7 AI 튜터가 강의를 진행하면서 질문에 답변해줍니다.

LLM Apps in Production (RAG + Vector DB + Caching)을(를) 시작하는 데 경험이 필요한가요?

사전 경험은 필요하지 않습니다. CoddyKit의 LLM Apps in Production (RAG + Vector DB + Caching)은(는) 초급자부터 고급 학습자까지를 위해 구성되어 있으므로, 여기서 시작하거나 처음부터 시작할 수 있으며 자신의 속도대로 진행할 수 있습니다. 이것은 4개 중 1번째 강의입니다.

“다양한 문서 형식 불러오기” 강의는 얼마나 걸리나요?

대부분의 CoddyKit 강의는 약 5~10분이 소요됩니다. 각 강의는 간결하고 인터랙티브하여 꾸준한 진행이 가능하며, 웹과 앱에서 중단한 부분부터 바로 시작할 수 있습니다.

이 LLM Apps in Production (RAG + Vector DB + Caching) 강의에서 코드를 작성하고 실행할 수 있나요?

네. 모든 LLM Apps in Production (RAG + Vector DB + Caching) 강의에는 내장 코드 에디터가 포함되어 있으므로, 브라우저에서 바로 실제 코드를 작성하고 실행한 후 즉시 AI 피드백을 받을 수 있습니다 — 로컬 설정이 필요 없습니다.

이 강의의 모든 강의

← LLM Apps in Production (RAG + Vector DB + Caching)(으)로 돌아가기