QA extrativo versus generativo

Responder a perguntas, ou QA, é a tarefa de retornar uma resposta precisa a uma pergunta em linguagem natural, em vez de uma lista de links. Você pergunta, e o sistema responde. 💬

Os sistemas de QA se dividem em duas famílias. O QA extrativo retira a resposta diretamente de uma passagem fornecida, palavra por palavra.

A outra família é o QA generativo. Em vez de copiar o texto, o modelo escreve uma resposta nova com suas próprias palavras, possivelmente combinando vários fatos.

O QA extrativo sempre trabalha com uma passagem de contexto fornecida por você. A resposta precisa ser um trecho que já exista dentro desse texto.

Na QA extrativa, a saída é um trecho: uma posição inicial e uma posição final no contexto. Aqui, o trecho é simplesmente a palavra Warsaw.

Um modelo generativo não se limita à passagem. Ele pode resumir, reformular ou responder com base no conhecimento incorporado durante o treinamento. ✨

É fácil confiar em respostas extrativas: você pode apontar para o texto exato de onde vieram. As respostas generativas são flexíveis, mas mais difíceis de verificar.

Como os modelos generativos inventam a formulação, eles podem alucinar fatos que parecem corretos, mas são falsos. A QA extrativa não pode fazer isso.

Escolha a QA extrativa quando as respostas estiverem em documentos confiáveis e você precisar de citações exatas e auditáveis, como em textos jurídicos ou médicos.

Escolha a QA generativa quando precisar de respostas fluidas e combinadas ou quiser responder mesmo quando nenhuma passagem isolada contiver a resposta completa.

Começamos com a QA extrativa porque ela é concreta e fácil de avaliar. Você carregará uma passagem e extrairá dela a resposta exata.

A QA retorna respostas precisas. A extrativa copia um trecho exato de um contexto; a generativa escreve um texto novo. A extração é auditável e é por onde começamos. 🎯