Какую проблему решает RAG

Каждая большая языковая модель обучается на снимке интернета по определённую дату, которая называется датой отсечения знаний. Для GPT-4o это начало 2024 года. Если спросить модель о событиях, произошедших после этой даты, она либо признается, что не знает ответа, либо, что ещё хуже, уверенно выдумает правдоподобную, но неверную информацию. Для приложений, которым нужны актуальные или закрытые знания, это фундаментальная проблема.

Галлюцинация возникает, когда LLM создаёт текст, звучащий авторитетно, но фактически являющийся неверным. Модели обучены создавать связный, беглый текст, но их специально не обучали отказываться от ответа, если они чего-то не знают. Поэтому они заполняют пробелы в знаниях правдоподобными догадками. Исследования показывают, что даже лучшие модели галлюцинируют в задачах, требующих глубоких знаний, в 10–40% случаев без внешнего обоснования.

Представьте, что вы спрашиваете LLM: Каковы условия договора нашей компании с поставщиком на третий квартал 2025 года? Модель никогда не видела вашего внутреннего документа. Вместо того чтобы сказать, что не знает ответа, она может создать правдоподобное резюме договора, используя общую юридическую лексику. Если сотрудник начнёт действовать на основе этой выдуманной информации, последствия могут быть серьёзными. Именно такую ошибку и призван предотвращать RAG.

Идея RAG проста: если предоставить модели релевантную информацию внутри запроса, ей не придётся полагаться на запомненные знания. Модель переходит от генерации по памяти к чтению контекста. Так же работают и люди: когда нужны точные сведения, мы ищем их, а не полагаемся на память. RAG реализует этот же рабочий процесс для LLM.

Распространённое заблуждение состоит в том, что дообучение модели на Ваших документах устраняет галлюцинации. Дообучение обновляет веса модели, чтобы улучшить её стиль, формат и следование задачам, но не обеспечивает надёжное внедрение фактических знаний. Исследования показывают, что дообученные модели по-прежнему галлюцинируют даже на самих обучающих данных. Чтобы знания надёжно воспроизводились, их необходимо предоставлять во время вывода через контекстное окно.

Поскольку RAG извлекает данные из актуального хранилища документов, он естественным образом обрабатывает знания, которые меняются со временем. Когда Ваш внутренний документ с правилами обновляется, Вы переиндексируете его, и каждый последующий запрос немедленно использует новую версию — повторное обучение модели не требуется. Поэтому для таких приложений, как внутренние базы знаний, системы поддержки клиентов и инструменты финансового анализа, RAG гораздо практичнее периодического дообучения.

Большинство корпоративных данных нельзя отправлять в OpenAI для обучения из-за требований к конфиденциальности и соблюдению нормативных требований. RAG позволяет обойти это ограничение: Ваши конфиденциальные документы остаются в собственной векторной базе данных, а LLM получает только релевантные фрагменты для каждого запроса. Вы даже можете использовать локальную LLM, например Llama 3, чтобы все данные оставались внутри организации. RAG — основной подход к созданию ИИ на основе конфиденциального корпоративного контента.

Когда LLM генерирует ответ из памяти, у него нет источника, на который можно сослаться. Когда ответ создаётся на основе извлечённых документов, модель может указать точные источники. Вы можете поручить модели включать в ответ названия документов и номера страниц, чтобы пользователи могли перейти к оригиналу и проверить информацию. Указание источников значительно повышает доверие к ответам, созданным ИИ, что особенно важно в юридических, медицинских и финансовых приложениях.

RAG следует двухэтапному подходу во время вывода: извлечение — преобразовать вопрос пользователя в эмбеддинг, найти в векторном хранилище наиболее релевантные фрагменты документов и выбрать результаты с наивысшими оценками. Генерация — сформировать запрос, включающий извлечённые фрагменты в качестве контекста, и попросить LLM ответить на вопрос, основываясь только на этом контексте. LLM читает, обобщает и формирует ответ.

RAG — мощный инструмент, но не универсальное решение. Он по-прежнему даёт сбои, когда: ответ требует обобщения информации из сотен документов (извлечение возвращает лишь несколько фрагментов), вопрос по своей сути является многошаговым и модели необходимо рассуждать через промежуточные этапы, либо извлечённые фрагменты вводят в заблуждение или противоречат друг другу. Понимание этих ограничений помогает проектировать гибридные системы, которые объединяют RAG с агентами рассуждения.

Существует три основных способа предоставить LLM знания предметной области: наполнение запроса (поместить всё в запрос — работает только для очень небольших корпусов), дообучение (хорошо обучает стилю и формату, но ненадёжно воспроизводит факты) и RAG (динамически извлекает релевантные факты во время вывода и масштабируется до миллионов документов). Для большинства промышленных сценариев, требующих актуальных, закрытых или крупномасштабных знаний, правильным выбором будет RAG.

Проверьте, насколько хорошо Вы усвоили концепции разработки ИИ из этого урока.

В этом уроке Вы узнали: почему LLM галлюцинируют из-за ограничений по дате знаний и неспособности сказать «я не знаю», почему дообучение не устраняет галлюцинации при воспроизведении фактов и как RAG основывает ответы на извлечённых документах, обеспечивая указание источников, доступ к знаниям в реальном времени и безопасное использование закрытых данных. Далее мы рассмотрим полную архитектуру RAG, включая этапы индексации и извлечения.