Validação por autocrítica

A autocrítica usa um LLM para avaliar a saída de um LLM segundo uma rubrica ou política. Ela detecta falhas sutis que validadores determinísticos não conseguem codificar: inconsistência factual, tom, utilidade e violações sutis de políticas.

Ela é o complemento baseado em modelo para os validadores de esquema e de regras.

Execute a crítica como uma chamada distinta, com sua própria instrução, e não como uma instrução final na geração. Um crítico com contexto limpo, solicitado apenas a julgar, é muito mais confiável do que pedir ao autor que avalie a si mesmo durante a geração, quando tende a favorecer a própria resposta.

Faça o crítico emitir vereditos estruturados para que o fluxo possa agir programaticamente. Uma crítica em texto livre não pode ser acionada por máquina.

Combine o crítico com um revisor. O crítico encontra os problemas; o autor revisa usando a crítica; repita até a aprovação ou até esgotar o orçamento. Esse é o equivalente baseado em modelo do ciclo de reparo.

Uma instrução vaga ('isto está bom?') produz vereditos inconsistentes. Uma rubrica concreta, com critérios explícitos e verificáveis, produz vereditos consistentes. Decomponha-a em perguntas de sim ou não que o crítico responda individualmente.

Para detectar alucinações, forneça ao crítico o contexto da fonte e peça que sinalize qualquer afirmação que não seja sustentada por ele. Isso transforma a autocrítica em uma verificação de implicação, muito mais forte do que perguntar “isso é verdade?” sem evidências.

O crítico é um LLM e também pode falhar:

• Bajulação — aprovar automaticamente a resposta do autor.
• Excesso de crítica — sinalizar uma saída correta.
• Pontos cegos compartilhados — o mesmo modelo deixa passar os mesmos erros.

Reduza esses problemas usando uma família de modelos diferente como crítico, um perfil de revisor rigoroso e limites calibrados.

O crítico não precisa ser o modelo mais caro. Muitas vezes, um modelo menor com uma rubrica precisa é uma barreira de proteção econômica, e usar uma família de modelos diferente reduz pontos cegos correlacionados. Reserve o modelo mais forte para a elaboração do conteúdo.

A autocrítica reduz erros, mas não é uma prova. Para conteúdo de baixo risco, uma única rodada de crítica é suficiente. Para saídas de alto risco, combine a autocrítica com validadores determinísticos e revisão humana; nunca permita que um modelo seja o único árbitro de decisões críticas para a segurança.

A autocrítica aproximadamente dobra o número de chamadas por solicitação. Controle-a: faça a crítica somente depois das verificações determinísticas, criticando apenas o que passou pelo esquema e pelas regras; armazene em cache as críticas de rascunhos idênticos e limite o número de rodadas de revisão. Execute a crítica em paralelo com trabalhos não bloqueantes quando possível.

Valide o crítico antes de confiar nele. Crie um conjunto de saídas rotuladas por humanos, execute o crítico e meça a concordância, calculando precisão e revocação em relação aos vereditos humanos. Ajuste a rubrica e o perfil até que os julgamentos do crítico se correlacionem com os dos humanos; verifique novamente após atualizações do modelo.

Você quer que o crítico detecte alucinações com confiabilidade em uma resposta de RAG. O que mais aumenta essa confiabilidade?

Validação por autocrítica:

• Um crítico separado, com contexto limpo, avalia a saída do autor.
• Emita vereditos estruturados; conduza um ciclo de criticar e depois revisar.
• Rubricas concretas e verificações de implicação fundamentadas aumentam a confiabilidade.
• Cuidado com a bajulação e os pontos cegos compartilhados; use um modelo de crítico diferente.
• Controle pelo custo, combine com verificações determinísticas e calibre com base em avaliações humanas.

Você concluiu as barreiras de proteção. Próximo curso: testes de equipe vermelha e avaliação adversarial.