Testes A/B de prompts

Assim como os sites testam diferentes projetos, podemos fazer testes A/B com instruções para modelos de linguagem de grande porte (LLM)!

O teste A/B nos ajuda a comparar duas (ou mais) versões de uma instrução para descobrir qual apresenta melhor desempenho em uma tarefa específica.

É uma maneira poderosa de tomar decisões baseadas em dados sobre a formulação das suas instruções.

As respostas dos LLM podem variar muito com base em pequenas alterações na instrução. O teste A/B nos ajuda a:

• Otimizar o desempenho: encontrar a instrução que produz a saída mais precisa ou desejada.
• Melhorar a experiência do usuário: garantir que sua aplicação ofereça os melhores resultados possíveis aos usuários.
• Reduzir custos: às vezes, uma instrução mais concisa pode ser igualmente eficaz, economizando no uso de tokens.

Em essência, o teste A/B envolve comparar duas versões:

• Versão A (controle): esta é a sua instrução atual ou original.
• Versão B (variante experimental): esta é uma versão modificada na qual você altera um elemento específico.

O essencial é isolar uma única alteração para compreender claramente o impacto causado por ela.

Antes de começar, você precisa saber o que significa “melhor”. Isso envolve definir métricas claras.

Por exemplo, para uma tarefa de resumo, as métricas poderiam ser:

• Concisão: o resumo ficou mais curto?
• Relevância: ele inclui todos os pontos principais?
• Legibilidade: é fácil de entender?

Essas métricas ajudam você a avaliar objetivamente as saídas das instruções.

A configuração de um teste A/B para instruções segue um fluxo simples:

1. Definir o objetivo: o que você está tentando alcançar? (por exemplo, uma análise de sentimentos melhor).
2. Identificar a variável: qual aspecto único da instrução você alterará? (por exemplo, adicionar “atue como um analista profissional”).
3. Criar variações: desenvolver a Instrução A (controle) e a Instrução B (variante experimental).
4. Coletar dados: executar as duas instruções com o mesmo conjunto de entradas.
5. Analisar os resultados: comparar as saídas com base nas métricas definidas.

Digamos que queremos resumir um artigo de notícias. Esta é a nossa instrução de controle (Instrução A):

Esta instrução é direta e solicita um resumo conciso. Vamos usá-la como nossa linha de base.

Agora, vamos criar a Instrução B alterando uma variável: adicionando um perfil. Queremos um resumo mais formal e analítico.

Ao adicionar o perfil e instruções específicas, esperamos obter um tipo diferente de resumo.

Para coletar dados, você executaria a Instrução A e a Instrução B em um conjunto diversificado de artigos idênticos.

Para cada artigo, você obteria dois resumos: um da Instrução A e outro da Instrução B.

Em seguida, compararia esses pares de resumos com base nas métricas definidas (por exemplo, concisão, relevância e tom) para descobrir qual instrução apresenta melhor desempenho.

Depois de coletar os dados, você analisará as saídas. Isso pode envolver:

• Revisão manual: avaliadores humanos atribuindo pontuações aos resumos.
• Métricas automatizadas: uso de ferramentas para verificar o tamanho, a presença de palavras-chave ou até mesmo o uso de outro LLM para pontuar a relevância.

Procure padrões consistentes. A Instrução B produz sistematicamente resumos mais analíticos do que a Instrução A em todos os casos de teste?

Aprendemos que o teste A/B é uma maneira estruturada de comparar variações de instruções, ajudando a otimizar o desempenho dos LLM.

• Isolar as variáveis: alterar apenas uma coisa entre a Instrução A e a Instrução B.
• Definir as métricas: saber como o sucesso será medido.
• Coletar e analisar: executar as duas instruções com entradas idênticas e comparar os resultados.

Essa abordagem metódica garante que seus esforços de engenharia de instruções sejam baseados em dados e eficazes!