LangChain / RAG / Vector DBs · Lekcja

Kompresja kontekstu z użyciem LLM

Optymalizuj kontekst przekazywany do LLM, dynamicznie filtrując i kompresując pobrane dokumenty, aby skupić się na istotnych informacjach.

Lekcja 2 z 412 kroki

Kompresja kontekstu z użyciem LLM to bezpłatna lekcja LangChain / RAG / Vector DBs na CoddyKit. To lekcja 2 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej LangChain / RAG / Vector DBs, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs LangChain / RAG / Vector DBs zawiera 4 lekcji w sumie.

Części tej lekcji nie zostały jeszcze przetłumaczone i są wyświetlane po angielsku.

Why Compress Context?

When building RAG (Retrieval Augmented Generation) systems, Large Language Models (LLMs) have a limited context window. Feeding them too much irrelevant information can lead to several problems:

Performance issues: LLMs might get confused by noise.
Higher costs: More tokens mean higher API bills.
Slower responses: More text takes longer to process.

This is where contextual compression comes in!

What is Contextual Compression?

Contextual compression is a technique used to refine the documents retrieved by your RAG system before they are passed to the LLM. It acts as a smart filter and extractor.

Filter: Remove entire documents that are less relevant.
Extract: From the remaining documents, identify and keep only the most pertinent sentences or paragraphs related to the user's query.

Think of it like highlighting the most important parts of a long article.

The Base Retriever's Role

Contextual compression doesn't replace your initial retrieval mechanism. Instead, it works on top of it.

You still need a base retriever (e.g., a vector store retriever) to fetch an initial set of potentially relevant documents.
The compressor then takes these documents and applies its logic to narrow down or condense their content.

It's a refinement step, not a substitute for finding the initial information.

Introducing LangChain's Tools

LangChain provides excellent tools for implementing contextual compression:

The ContextualCompressionRetriever is the main component. It wraps your base retriever and a document compressor.
A document compressor (e.g., an LLM-based one) is the actual logic that filters or extracts information from the documents.

Let's see how to set up a dummy base retriever first.

Setting Up a Base Retriever

Here's a simple dummy retriever. In a real application, this would typically connect to a vector database like Pinecone or Chroma.

from langchain_core.documents import Document

class SimpleBaseRetriever:
    def get_relevant_documents(self, query: str):
        if "programming" in query.lower() or "python" in query.lower():
            return [
                Document(page_content="Python is a versatile programming language. Used in AI & web dev."),
                Document(page_content="Java is popular for enterprise apps."),
                Document(page_content="Data science uses Python for analysis & ML."),
                Document(page_content="History of programming languages dates back centuries.")
            ]
        return [
            Document(page_content="The quick brown fox jumps over the lazy dog."),
            Document(page_content="Cats enjoy napping in sunny spots, especially in the sun."),
            Document(page_content="A computer processes data very quickly and efficiently.")
        ]

base_retriever = SimpleBaseRetriever()
print("Base retriever initialized.")
# Example usage:
# docs = base_retriever.get_relevant_documents("python")
# for doc in docs: print(doc.page_content)

LLMs as Document Compressors

One of the most powerful ways to compress context is by using another LLM! An LLM can intelligently understand the query and the retrieved documents, then extract only the most relevant sentences.

This goes beyond simple keyword matching.
It leverages the LLM's understanding of semantics.

LangChain provides specific compressors that use LLMs for this task.

Using LLMChainExtractor (Code)

The LLMChainExtractor uses an LLM to extract relevant sections from documents. Here's how to set it up along with the ContextualCompressionRetriever.

from langchain_core.documents import Document
from langchain.retrievers.document_compressors import LLMChainExtractor
from langchain.retrievers import ContextualCompressionRetriever
from langchain_openai import OpenAI # pip install langchain-openai

# --- Dummy Base Retriever (for standalone runnable) ---
class SimpleBaseRetriever:
    def get_relevant_documents(self, query: str):
        if "programming" in query.lower() or "python" in query.lower():
            return [
                Document(page_content="Python is a versatile programming language. Used in AI & web dev."),
                Document(page_content="Java is popular for enterprise apps."),
                Document(page_content="Data science uses Python for analysis & ML."),
                Document(page_content="History of programming languages dates back centuries.")
            ]
        return [
            Document(page_content="The quick brown fox jumps over the lazy dog."),
            Document(page_content="Cats enjoy napping in sunny spots, especially in the sun."),
            Document(page_content="A computer processes data very quickly and efficiently.")
        ]
base_retriever = SimpleBaseRetriever()

# --- LLM for Compression ---
# NOTE: You need to set your OpenAI API key as an environment variable
# e.g., import os; os.environ["OPENAI_API_KEY"] = "YOUR_API_KEY"
# Ensure 'langchain-openai' is installed (pip install langchain-openai).
llm = OpenAI(temperature=0.1) # Low temp for focused extraction

# --- Create the Extractor and Compression Retriever ---
compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor,
    base_retriever=base_retriever
)
print("LLMChainExtractor and ContextualCompressionRetriever initialized!")

Running Compressed Retrieval (Code)

Now, let's run a query and observe how the ContextualCompressionRetriever (using LLMChainExtractor) processes the documents. Pay attention to the length of the document content!

from langchain_core.documents import Document
from langchain.retrievers.document_compressors import LLMChainExtractor
from langchain.retrievers import ContextualCompressionRetriever
from langchain_openai import OpenAI # pip install langchain-openai

# --- Dummy Base Retriever (re-defined for standalone runnable) ---
class SimpleBaseRetriever:
    def get_relevant_documents(self, query: str):
        if "programming" in query.lower() or "python" in query.lower():
            return [
                Document(page_content="Python is a versatile programming language. Used in AI & web dev."),
                Document(page_content="Java is popular for enterprise apps."),
                Document(page_content="Data science uses Python for analysis & ML."),
                Document(page_content="History of programming languages dates back centuries.")
            ]
        return [
            Document(page_content="The quick brown fox jumps over the lazy dog."),
            Document(page_content="Cats enjoy napping in sunny spots, especially in the sun."),
            Document(page_content="A computer processes data very quickly and efficiently.")
        ]
base_retriever = SimpleBaseRetriever()

# --- LLM for Compression (re-defined for standalone runnable) ---
# NOTE: You need to set your OpenAI API key as an environment variable
# Ensure 'langchain-openai' is installed.
llm = OpenAI(temperature=0.1)
compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor,
    base_retriever=base_retriever
)

# --- Run a Query ---
query = "What is Python used for?"
print(f"Query: '{query}'\n")

print("--- Original (simulated) documents ---")
original_docs = base_retriever.get_relevant_documents(query)
for i, doc in enumerate(original_docs):
    print(f"Doc {i+1} (Chars: {len(doc.page_content)}): {doc.page_content}")
print(f"Total original documents: {len(original_docs)}\n")

print("--- Content after compression ---")
compressed_docs = compression_retriever.get_relevant_documents(query)
for i, doc in enumerate(compressed_docs):
    # The LLMChainExtractor modifies the page_content of existing docs
    print(f"Compressed Doc {i+1} (Chars: {len(doc.page_content)}): {doc.page_content}")
print(f"Total compressed documents: {len(compressed_docs)}")

Other Compression Options

LangChain offers more than just LLMChainExtractor:

LLMChainFilter: Uses an LLM to decide if an entire document is relevant enough to keep, rather than extracting parts.
EmbeddingsFilter: Filters documents based on the semantic similarity of their embeddings to the query. This is often faster but less nuanced than LLM-based filtering.
DocumentCompressorPipeline: Allows you to chain multiple compressors together for complex logic!

Why Compression Matters

Contextual compression is a powerful technique for optimizing RAG systems:

Improved Relevance: LLMs receive more focused, pertinent information.
Reduced Cost: Fewer tokens are sent to the LLM API.
Faster Responses: LLMs process less text, leading to quicker answers.
Better Accuracy: Less irrelevant noise reduces the chance of LLM hallucinations.

It helps you get more out of your LLMs while saving resources!

Compression Check

Test your understanding of contextual compression!

Odpowiedz w interaktywnej lekcji

Contextual Compression Recap

We've explored how contextual compression refines retrieved documents for LLMs:

It's a post-retrieval step that filters and extracts key information.
LangChain's ContextualCompressionRetriever wraps a base retriever and a document compressor.
LLMChainExtractor uses an LLM to intelligently extract relevant snippets.
Benefits include improved relevance, reduced costs, faster responses, and better accuracy.

This technique is vital for optimizing RAG systems, especially with large knowledge bases.

Bezpłatny start

Ucz się LangChain / RAG / Vector DBs dzięki korepetycjom AI — za darmo

Pisz i uruchamiaj kod w przeglądarce, otrzymuj natychmiastową pomoc od korepetytora AI dostępnego 24/7 i kontynuuj naukę w sieci lub w aplikacji.

Kursy: 12
Lekcje: 48

Zacznij naukę bezpłatnie Wyświetl pełny kurs

Często zadawane pytania

Czy lekcja „Kompresja kontekstu z użyciem LLM” jest bezpłatna?

Tak — pełny tekst „Kompresja kontekstu z użyciem LLM” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu LangChain / RAG / Vector DBs, przejdź na CoddyKit PRO. Kurs LangChain / RAG / Vector DBs zawiera 4 lekcji w sumie.

Co nauczysz się w „Kompresja kontekstu z użyciem LLM”?

Optymalizuj kontekst przekazywany do LLM, dynamicznie filtrując i kompresując pobrane dokumenty, aby skupić się na istotnych informacjach. Ćwiczysz LangChain / RAG / Vector DBs z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.

Czy potrzebuję doświadczenia, aby zacząć LangChain / RAG / Vector DBs?

Nie wymagamy żadnego doświadczenia. LangChain / RAG / Vector DBs w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 2 z 4.

Ile czasu zajmuje lekcja „Kompresja kontekstu z użyciem LLM”?

Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.

Czy mogę pisać i uruchamiać kod w tej lekcji LangChain / RAG / Vector DBs?

Tak. Każda lekcja LangChain / RAG / Vector DBs zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.

Wszystkie lekcje w tym kursie

Strategie wyszukiwania wielozapytaniowego
Kompresja kontekstu z użyciem LLM
Wyszukiwanie hybrydowe i ponowne rangowanie
Wyszukiwanie dokumentu nadrzędnego i okna zdań

← Powrót do LangChain / RAG / Vector DBs