LLM Apps in Production (RAG + Vector DB + Caching) · レッスン

プロンプトエンジニアリングとコンテキストウィンドウ

すべてのLLM呼び出しを制約するコンテキストウィンドウを理解し、取得したコンテキスト、指示、質問をまとめて収められるプロンプトを作成して、本番環境で信頼できる回答を得る方法を学びます。

「プロンプトエンジニアリングとコンテキストウィンドウ」はCoddyKit上の無料LLM Apps in Production (RAG + Vector DB + Caching)レッスンです。これはレッスン4/4です。下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。これはLLM Apps in Production (RAG + Vector DB + Caching)学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 LLM Apps in Production (RAG + Vector DB + Caching)コースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

The Context Window

Every LLM has a fixed context window — the max tokens it reads and writes per call. System prompt, retrieved docs, history, and your question all have to fit.

What Lives in the Window

A production RAG prompt packs in system instructions, retrieved context, prior history, and the current question. Exceed the window and something gets cut.

Anatomy of a Prompt

A clear prompt structure helps the model tell instructions apart from data. Here's a clean layout separating context from the question.

prompt = (
    'You are a support assistant. '
    'Answer ONLY from the context.\n\n'
    'Context:\n{context}\n\n'
    'Question: {question}'
)

Grounding Instructions

To cut hallucination, add grounding instructions: tell the model to answer only from the provided context and to admit when it doesn't know.

rule = 'If the answer is not in the context, say you do not know.'

Using a Prompt Template

A prompt template makes prompts reusable and safe to fill with variables. LangChain's ChatPromptTemplate does exactly this.

from langchain_core.prompts import ChatPromptTemplate

template = ChatPromptTemplate.from_messages([
    ('system', 'Answer only from context: {context}'),
    ('human', '{question}')
])

Counting Tokens

Before sending, count tokens so you don't overflow the window. Rough rule for English: about 4 characters per token.

import tiktoken
enc = tiktoken.get_encoding('cl100k_base')
print(len(enc.encode(filled_prompt)))

When Context Is Too Big

When context is too big, shrink it: fewer chunks, smaller chunk sizes, or summarize. Never silently truncate the middle — you might drop the answer.

The Lost-in-the-Middle Effect

Watch the lost-in-the-middle effect: models attend best to the start and end of context, worst to the middle. Put your most relevant chunks first or last.

Reserving Output Space

Input and output share the window. Fill it all with input and there's no room to generate — so reserve output space for the expected answer length.

max_output = 800
budget_for_input = WINDOW - max_output

Few-Shot Examples

A few few-shot examples can steer format and tone, but they eat tokens. Weigh their value against the space they consume.

Iterating on Prompts

Prompt engineering is empirical: change one thing at a time, test on real questions, and measure. Small wording tweaks can shift answer quality a lot.

Quick Check

Test your understanding of context windows.

Recap

Recap: the context window holds system, context, history, question, and output. Structure prompts, ground them, count tokens, beat lost-in-the-middle, and reserve output room.

よくある質問

「プロンプトエンジニアリングとコンテキストウィンドウ」レッスンは無料ですか？

はい。「プロンプトエンジニアリングとコンテキストウィンドウ」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、LLM Apps in Production (RAG + Vector DB + Caching)コースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 LLM Apps in Production (RAG + Vector DB + Caching)コースには全4レッスンが含まれています。

「プロンプトエンジニアリングとコンテキストウィンドウ」で何を学びますか？

すべてのLLM呼び出しを制約するコンテキストウィンドウを理解し、取得したコンテキスト、指示、質問をまとめて収められるプロンプトを作成して、本番環境で信頼できる回答を得る方法を学びます。ブラウザで直接実行するハンズオンコードでLLM Apps in Production (RAG + Vector DB + Caching)を演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

LLM Apps in Production (RAG + Vector DB + Caching)を始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのLLM Apps in Production (RAG + Vector DB + Caching)は初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。これはレッスン4/4です。

「プロンプトエンジニアリングとコンテキストウィンドウ」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このLLM Apps in Production (RAG + Vector DB + Caching)レッスンでコードを書いて実行できますか？

はい。すべてのLLM Apps in Production (RAG + Vector DB + Caching)レッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

← LLM Apps in Production (RAG + Vector DB + Caching)に戻る