Geração aumentada por recuperação (RAG)

Boas-vindas à Geração Aumentada por Recuperação (RAG)! Esta lição apresenta uma técnica poderosa para tornar os modelos de linguagem de grande porte (LLM) mais precisos e confiáveis.

RAG combina o vasto conhecimento dos modelos LLM com informações externas e atualizadas. É como dar a um LLM um livro aberto durante uma prova difícil!

Os modelos LLM básicos, embora impressionantes, têm algumas limitações:

• Alucinações: Às vezes, eles podem gerar informações factualmente incorretas ou sem sentido.
• Conhecimento desatualizado: Seu conhecimento é limitado à data de corte dos dados de treinamento.
• Falta de especificidade: Eles talvez não conheçam fatos específicos de nichos ou de domínios privados.
• Ausência de citações: Eles não conseguem informar facilmente de onde vêm suas informações.

RAG resolve essas limitações ao integrar um sistema de recuperação com um LLM gerador.

Antes de o LLM gerar uma resposta, o RAG primeiro recupera informações relevantes de uma base de conhecimento externa confiável. Em seguida, essas informações recuperadas "ampliam" (aprimoram) a instrução fornecida ao LLM.

A primeira etapa do RAG é a recuperação. Quando um usuário faz uma pergunta, um componente dedicado de recuperação entra em ação.

• Ele analisa a consulta do usuário.
• Pesquisa uma grande base de conhecimento externa (por exemplo, documentos, bancos de dados, páginas da Web).
• Identifica e busca as informações ou os "documentos" mais relevantes relacionados à consulta.

Depois que as informações relevantes são recuperadas, a próxima etapa é a ampliação.

• Os trechos de texto recuperados são inseridos diretamente na instrução original do usuário.
• Isso cria uma "instrução ampliada" que agora contém tanto a solicitação do usuário quanto o contexto factual.
• Essa instrução enriquecida fornece ao LLM os dados específicos necessários para formular uma resposta precisa.

Por fim, ocorre a etapa de geração. O modelo de linguagem de grande porte recebe a instrução ampliada.

• Com o contexto relevante explicitamente fornecido, o LLM gera sua resposta.
• Ele é instruído a basear sua resposta principalmente nas informações fornecidas, em vez de depender somente de seu conhecimento pré-treinado.
• Isso resulta em respostas mais fundamentadas, factuais e verificáveis.

A implementação do RAG oferece várias vantagens significativas:

• Redução de alucinações: As respostas do LLM são fundamentadas em fatos da base de conhecimento.
• Informações atualizadas: Acesso a dados atuais além da data de corte do treinamento do LLM.
• Especificidade de domínio: Integração fácil de dados organizacionais privados ou especializados.
• Explicabilidade: Muitas vezes, o sistema consegue citar as fontes das quais as informações foram recuperadas.

Vamos visualizar uma interação simples com RAG:

1. Consulta do usuário: "Quando a Torre Eiffel foi concluída?"
2. Recuperação: O sistema pesquisa um banco de dados de fatos históricos e encontra "A Torre Eiffel foi concluída em 31 de março de 1889."
3. Ampliação: A instrução se torna: "Com base nas informações a seguir: 'A Torre Eiffel foi concluída em 31 de março de 1889.', quando ela foi concluída?"
4. Geração: O LLM responde: "A Torre Eiffel foi concluída em 31 de março de 1889."

Em seu cerne, um sistema RAG consiste em dois componentes lógicos principais:

• O recuperador: Este componente é responsável por pesquisar e buscar os documentos ou fragmentos de dados mais relevantes de uma base de conhecimento externa com base na consulta do usuário.
• O gerador: Este é o próprio modelo de linguagem de grande porte (LLM), que combina a consulta original do usuário com o contexto recuperado para produzir uma resposta coerente e esclarecedora.

Quais das opções a seguir são benefícios importantes do uso da Geração Aumentada por Recuperação (RAG) para modelos LLM?

Agora você aprendeu o conceito central e a arquitetura da Geração Aumentada por Recuperação (RAG). RAG é uma técnica essencial para criar aplicações baseadas em LLM mais confiáveis, factuais e sensíveis ao contexto.

Ao combinar recuperação e geração, RAG permite que os modelos LLM interajam com dados externos dinâmicos e forneçam respostas baseadas neles. Em seguida, exploraremos como os bancos de dados vetoriais desempenham um papel fundamental na recuperação eficiente para sistemas RAG!