Métricas de geração: fidelidade e relevância da resposta

Mesmo quando seu recuperador encontra os trechos perfeitos, a etapa de geração ainda pode falhar. O LLM pode ignorar o contexto recuperado e responder com base em sua memória paramétrica, interpretar incorretamente o que o contexto afirma ou responder a uma pergunta ligeiramente diferente da que foi feita. As métricas de geração quantificam essas falhas independentemente da recuperação, para que você possa identificar e corrigir cada problema. As duas principais métricas de geração são fidelidade e relevância da resposta.

Fidelidade mede se cada afirmação da resposta gerada pode ser diretamente relacionada ao contexto recuperado. Uma resposta fiel não introduz nenhuma informação que não esteja presente no contexto. A fidelidade é medida no nível das afirmações: a resposta é decomposta em declarações atômicas individuais, e cada uma é comparada ao contexto para verificar se há sustentação. A pontuação de fidelidade é a fração de afirmações sustentadas.

A maneira mais prática de medir a fidelidade em escala é usar um LLM poderoso como avaliador. Solicite ao LLM avaliador que decomponha a resposta em afirmações individuais e, em seguida, verifique cada afirmação em relação ao contexto. O avaliador retorna uma lista de afirmações rotuladas como SUPPORTED ou UNSUPPORTED, e você calcula a fração das que são sustentadas. Essa abordagem permite realizar milhares de avaliações por hora a um custo de alguns centavos por avaliação.

Relevância da resposta mede se a resposta gerada realmente aborda a pergunta do usuário. Uma resposta altamente fiel ainda pode não atingir o objetivo — por exemplo, se o usuário perguntar "Como redefino minha senha?" e a resposta explicar detalhadamente a política geral de segurança da empresa sem mencionar o procedimento de redefinição de senha. A relevância da resposta é independente da fidelidade: é possível ser fiel (dizer apenas coisas presentes no contexto), mas irrelevante (não abordar o que foi perguntado).

RAGAS mede a relevância da resposta usando uma técnica inteligente de geração reversa: o LLM avaliador gera várias perguntas hipotéticas que seriam respondidas pela resposta gerada e, em seguida, mede a semelhança entre essas perguntas geradas e a pergunta original usando similaridade do cosseno entre embeddings. Uma alta semelhança entre as perguntas hipotéticas geradas e a pergunta original indica alta relevância da resposta.

Revocação do contexto mede se o contexto recuperado contém informações suficientes para responder corretamente à pergunta. Ela verifica a resposta de referência frase por frase: cada frase pode ser atribuída a um dos trechos recuperados? Uma alta revocação do contexto significa que o recuperador encontrou tudo o que era necessário. Uma baixa revocação do contexto significa que informações essenciais estavam ausentes dos trechos recuperados, portanto o LLM não pode responder corretamente, mesmo com uma geração perfeita.

Precisão do contexto mede se os trechos recuperados são realmente úteis para responder à pergunta. Uma alta precisão do contexto significa que os trechos recuperados são diretamente relevantes. Uma baixa precisão do contexto significa que muitos trechos recuperados são ruído fora do tema que o LLM precisa ler e descartar, aumentando o risco de confusão. A precisão do contexto é medida verificando quais trechos recuperados foram realmente usados ou referenciados na resposta gerada.

A biblioteca RAGAS implementa as quatro métricas centrais de RAG — precisão do contexto, revocação do contexto, fidelidade e relevância da resposta — em uma única estrutura. Ela gerencia internamente as chamadas ao LLM avaliador. Passe um conjunto de dados com perguntas, respostas geradas, contextos recuperados e respostas de referência e receba um relatório abrangente de pontuações. RAGAS também oferece suporte à avaliação assíncrona, para que seja possível avaliar centenas de exemplos em paralelo.

A combinação de métricas revela problemas específicos do sistema. Baixa fidelidade + alta precisão do contexto → o LLM está ignorando o contexto e alucinando (corrija o prompt). Baixa revocação do contexto + alta fidelidade → o recuperador não está encontrando trechos essenciais, mas o LLM relata fielmente o que encontrou (corrija a divisão em trechos ou os embeddings). Baixa relevância da resposta + alta fidelidade → os trechos recuperados têm relação apenas tangencial e o LLM os discute fielmente, mas não responde à pergunta (melhore a filtragem da recuperação ou a reescrita da consulta).

As métricas de LLM como avaliador estão correlacionadas com o julgamento humano, mas não perfeitamente alinhadas. Calibre suas métricas automatizadas fazendo com que 3 avaliadores humanos atribuam pontuações a uma amostra aleatória de 50 saídas quanto à fidelidade e à relevância da resposta, usando uma escala de 1 a 5. Calcule a concordância entre o LLM avaliador e a pontuação humana média. Se o LLM atribuir sistematicamente pontuações maiores ou menores que as pessoas, aplique um fator de correção. Métricas automatizadas calibradas dão confiança de que as melhorias nas pontuações refletem melhorias reais na qualidade.

Antes de implantar um sistema RAG em produção, defina limiares mínimos para as métricas que o sistema deve atingir. Metas comuns de produção são: fidelidade > 0,90 (menos de 10% das afirmações da resposta são alucinações), relevância da resposta > 0,80 (mais de 80% das respostas realmente abordam a pergunta), precisão do contexto > 0,60 (a maioria dos trechos recuperados é relevante) e revocação do contexto > 0,75 (a maioria dos fatos essenciais está disponível no contexto recuperado). Sistemas que não atingirem esses limiares não devem ser implantados sem melhorias adicionais.

Nesta lição, você aprendeu: fidelidade como a métrica no nível das afirmações que verifica se cada declaração da resposta é sustentada pelo contexto recuperado; relevância da resposta como a métrica que mede se a resposta aborda a pergunta real; revocação e precisão do contexto para medir a qualidade da recuperação sob a perspectiva da geração; e a biblioteca RAGAS para avaliação automatizada com várias métricas. Em seguida, reuniremos todas essas métricas em uma estrutura de avaliação automatizada que você poderá executar a cada alteração.