Vector Databases: Pinecone, Weaviate & pgvector · درس

استراتيجيات تقسيم النص لـ RAG

تعلّم كيفية تقسيم المستندات إلى أجزاء فعالة للتضمين، حتى يسترجع نظام RAG لديك سياقًا دقيقًا وذا صلة.

استراتيجيات تقسيم النص لـ RAG درس مجاني في Vector Databases: Pinecone, Weaviate & pgvector على CoddyKit. هذا هو الدرس 4 من أصل 4. يمكنك قراءة الدرس كاملاً أدناه مجاناً — ثم تمرن عليه مباشرة في المتصفح باستخدام محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7. هذا الدرس جزء من مسار التعلم في Vector Databases: Pinecone, Weaviate & pgvector، وتقدمك يتزامن عبر الويب وتطبيق CoddyKit. تتضمن دورة Vector Databases: Pinecone, Weaviate & pgvector 4 دروس في المجموع.

بعض أجزاء هذا الدرس لم تُترجم بعد وتظهر باللغة الإنجليزية.

Why Chunking Matters

Before embedding, documents are split into chunks. Chunk quality directly determines retrieval quality — too large dilutes relevance, too small loses context.

Fixed-Size Chunking

The simplest method splits text every N characters or tokens. Fast but can cut sentences mid-thought.

def fixed_chunks(text, size=500):
    return [text[i:i+size] for i in range(0, len(text), size)]

Overlapping Windows

Add overlap between chunks so context spanning a boundary is not lost. A 10-20% overlap is common.

def overlap_chunks(text, size=500, overlap=100):
    step = size - overlap
    return [text[i:i+size] for i in range(0, len(text), step)]

Sentence-Aware Splitting

Split on sentence boundaries so each chunk stays grammatically whole. This usually improves embedding quality over raw character splits.

import re
sentences = re.split(r'(?<=[.!?])\s+', document_text)

Recursive Chunking

Recursive splitting tries large separators first (paragraphs), then smaller ones (sentences, words) until chunks fit the size limit. It respects natural structure.

Semantic Chunking

Semantic chunking groups sentences by meaning similarity, starting a new chunk when topic shifts. More expensive but very precise.

Chunk Size vs Model

Match chunk size to your embedding model's context window and your LLM's prompt budget.

Small chunks: precise but fragmented
Large chunks: rich but noisy

Keeping Metadata

Store source, page, and position metadata with each chunk so you can cite sources and reconstruct context later.

chunk = {
  'text': part,
  'source': 'guide.pdf',
  'page': 4,
  'position': idx
}

Parent-Child Chunks

Embed small child chunks for precise matching, but return their larger parent chunk to the LLM for full context. Best of both worlds.

Evaluating Chunking

Test different chunking configs with the same queries and measure retrieval hit rate. There is no universal best — measure for your data.

Practical Defaults

A solid starting point:

Recursive splitting
~500 tokens per chunk
~50-100 token overlap
Attach source metadata

Quick Check

Test your chunking knowledge.

Recap

You learned fixed, overlapping, sentence-aware, recursive, and semantic chunking, plus parent-child retrieval and metadata. Good chunking is the foundation of accurate RAG retrieval.

الأسئلة الشائعة

هل درس «استراتيجيات تقسيم النص لـ RAG» مجاني؟

نعم — نص درس «استراتيجيات تقسيم النص لـ RAG» كامل متاح مجاناً هنا على الويب. لتمرينه بشكل تفاعلي (محرر أكواد مدمج ومدرس ذكاء اصطناعي متاح 24/7) وفتح باقي دورة Vector Databases: Pinecone, Weaviate & pgvector، انتقل إلى CoddyKit PRO. تتضمن دورة Vector Databases: Pinecone, Weaviate & pgvector 4 دروس في المجموع.

ماذا ستتعلم في «استراتيجيات تقسيم النص لـ RAG»؟

تعلّم كيفية تقسيم المستندات إلى أجزاء فعالة للتضمين، حتى يسترجع نظام RAG لديك سياقًا دقيقًا وذا صلة. تتمرن على Vector Databases: Pinecone, Weaviate & pgvector مع أكواد عملية تشغلها مباشرة في المتصفح، ومدرس ذكاء اصطناعي متاح 24/7 يجيب على أسئلتك أثناء عملك.

هل أحتاج إلى خبرة سابقة لأبدأ Vector Databases: Pinecone, Weaviate & pgvector؟

لا تُشترط خبرة سابقة. Vector Databases: Pinecone, Weaviate & pgvector على CoddyKit منظم للمبتدئين حتى المتقدمين، لذا يمكنك البدء من هنا أو من البداية والتقدم بسرعتك الخاصة. هذا هو الدرس 4 من أصل 4.

كم من الوقت يستغرق درس «استراتيجيات تقسيم النص لـ RAG»؟

معظم دروس CoddyKit تستغرق حوالي 5–10 دقائق. كل منها موجز وتفاعلي، لذا تحرز تقدماً مستمراً وتستأنف من حيث توقفت عبر الويب والتطبيق.

هل يمكنني كتابة وتشغيل أكواد في درس Vector Databases: Pinecone, Weaviate & pgvector هذا؟

نعم. كل درس في Vector Databases: Pinecone, Weaviate & pgvector يتضمن محرر أكواد مدمج، لذا تكتب وتشغل أكواداً حقيقية مباشرة في متصفحك وتحصل على تعليقات فورية من الذكاء الاصطناعي — بدون إعداد محلي.

جميع الدروس في هذه الدورة

← العودة إلى Vector Databases: Pinecone, Weaviate & pgvector