Seleção dinâmica de poucos exemplos

O aprendizado com poucos exemplos estático usa os mesmos exemplos para todas as consultas. O aprendizado dinâmico com poucos exemplos recupera, para cada consulta, as demonstrações mais relevantes de um conjunto, condicionando o modelo com exemplos semelhantes à entrada atual.

Isso é aprendizado no contexto aumentado por recuperação: aumenta a relevância das demonstrações, um dos fatores de maior impacto na qualidade do ICL, especialmente em tráfego heterogêneo.

Pré-calcule vetores de representação para cada demonstração candidata e armazene-os em um índice de vizinhos mais próximos aproximados (FAISS, HNSW ou um banco de dados vetorial). No momento da consulta, faça embed da entrada uma vez e recupere as correspondências mais próximas.

Escolha um modelo de vetorização alinhado à semântica da sua tarefa; um modelo genérico pode agrupar com base em características superficiais, e não na dimensão que prevê o rótulo correto.

O método canônico (Liu et al., 2022) recupera os k vizinhos mais próximos da consulta no conjunto rotulado e os utiliza como demonstrações. A seleção baseada em recuperação supera consistentemente a seleção aleatória, pois as demonstrações relevantes identificam melhor a tarefa e fornecem o espaço de rótulos adequado.

Os rótulos recuperados também atuam como um conhecimento prévio suave do classificador kNN, direcionando o modelo para as respostas dos vizinhos.

Uma seleção simples dos k primeiros resultados pode retornar quase duplicatas, desperdiçando contexto. Aplique MMR ou agrupamento aos candidatos recuperados para manter a relevância e, ao mesmo tempo, garantir que os exemplos escolhidos cubram aspectos distintos da consulta.

Isso é especialmente importante para entradas composicionais, nas quais diferentes subaspectos precisam de uma demonstração representativa.

A seleção dinâmica acrescenta uma chamada de vetorização e uma consulta a um índice ANN a cada solicitação. Planeje esse custo: armazene em cache os vetores de consultas repetidas, agrupe as recuperações e mantenha o índice na memória.

Em sistemas com QPS alto, a etapa de recuperação deve levar menos de um milissegundo; caso contrário, o ganho de relevância será consumido pelo aumento da latência da cauda.

Exemplos dinâmicos interrompem o armazenamento do prefixo da solicitação em cache porque o bloco de exemplos muda a cada consulta. Reduza esse efeito mantendo um preâmbulo estável armazenado em cache (instruções e alguns exemplos universais) e acrescentando depois dele apenas os exemplos recuperados e específicos da consulta.

Isso recupera a maior parte da economia proporcionada pelo armazenamento em cache, preservando a relevância por consulta na cauda.

Se a própria consulta estiver no conjunto (algo comum durante a avaliação), a recuperação poderá retornar a resposta exata, inflando as métricas. Sempre exclua a consulta e os vizinhos quase idênticos acima de um limiar de similaridade durante a avaliação.

Em produção, elimine duplicatas do conjunto e evite repetir a entrada anterior do próprio usuário como demonstração.

No início, o conjunto é pequeno e a recuperação pode retornar correspondências fracas. Comece com um conjunto estático selecionado e depois aumente o conjunto usando registros de produção verificados, recalculando os vetores e reindexando em intervalos programados.

Acompanhe o uso e o resultado de cada demonstração para poder remover exemplos de baixo valor ou desatualizados e manter o índice enxuto.

A relevância dos vizinhos mais próximos é um bom padrão, mas nem sempre é ideal. Seletores avançados ponderam a informatividade (a demonstração resolve a ambiguidade da consulta?), a diversidade e a cobertura de rótulos. Alguns métodos aprendem uma política de seleção que maximiza a acurácia posterior, em vez da similaridade bruta.

Considere a seleção como a escolha do conjunto de demonstrações que mais reduz a incerteza do modelo sobre esta consulta.

Compare o sistema dinâmico com referências estáticas e aleatórias usando dados reservados e controlados contra vazamentos. Informe a acurácia, a distribuição das similaridades de recuperação, a latência de ponta a ponta e a taxa de acertos do cache.

Um sistema dinâmico que vence em acurácia, mas prejudica a reutilização do cache, pode ter impacto negativo no custo; avalie o objetivo completo, não apenas a qualidade.

De ponta a ponta: um conjunto verificado de exemplos, um modelo de vetorização, um índice ANN na memória, um seletor que aplica proteções contra vazamento, diversidade e ordenação por similaridade, um preâmbulo estável armazenado em cache e um ciclo de feedback que aumenta e reduz o conjunto.

Essa arquitetura transforma a solicitação com poucos exemplos em um sistema de recuperação com o rigor operacional que isso exige.

Diagnostique um resultado de avaliação enganosamente forte.

Principais conclusões:

• O aprendizado dinâmico com poucos exemplos recupera demonstrações para cada consulta, superando as abordagens aleatória e estática ao aumentar a relevância.
• Vetorialize o conjunto em um índice ANN; a solicitação por kNN é o padrão mais forte, ordenada por similaridade crescente.
• Adicione diversidade (MMR) e considere seletores de informatividade e redução de incerteza.
• Proteja-se contra vazamentos na recuperação, gerencie a latência e mantenha um preâmbulo estático armazenado em cache com uma cauda dinâmica.
• Aumente e reduza o conjunto usando registros verificados; avalie acurácia, latência e acertos do cache em conjunto.