O que são barreiras de proteção

Barreiras de proteção são verificações programáticas que envolvem um LLM para impor segurança, políticas e qualidade. Elas atuam na entrada (entrada do usuário) e na saída (saída do modelo), controlando o que chega ao modelo e o que chega ao usuário.

O modelo é probabilístico; as barreiras de proteção são a aplicação determinística de políticas em uma camada superior.

Instruções no prompt do sistema, como 'nunca revele segredos', são flexíveis: podem ser anuladas por ataques de contorno, perder força em contextos longos ou ser ignoradas diante de uma mudança de distribuição. As barreiras de proteção são rígidas porque são código externo ao modelo, com o qual não é possível negociar.

Defesa em profundidade: instrua o modelo e envolva-o em verificações independentes.

Duas posições, com funções diferentes:

• Entrada: as barreiras de proteção bloqueiam injeções de instruções, solicitações não permitidas e PII antes que os tokens gerem custos.
• Saída: as barreiras de proteção detectam conteúdo inseguro, dados vazados, alucinações e violações do esquema antes da entrega.

As verificações de entrada economizam custos; as verificações de saída protegem os usuários.

Uma barreira de proteção deve decidir o que fazer quando é acionada:

• Bloquear — recusar e retornar uma mensagem segura.
• Redact — remover o trecho problemático e continuar.
• Regenerar — solicitar novamente, informando a violação.
• Encaminhar — direcionar para uma pessoa ou para um modelo mais rigoroso.

A ação correta depende da gravidade e da confiança do usuário.

Componha as barreiras de proteção em um fluxo ordenado; interrompa imediatamente na primeira violação grave.

Há dois estilos de implementação:

• Determinístico — expressões regulares, esquemas, listas de permissões ou bloqueios e classificadores com limites fixos. Rápido, barato e auditável.
• Baseado em modelo — um modelo de moderação ou um LLM avaliador analisa políticas sutis. Flexível, mas mais lento e também sujeito a falhas.

Use barreiras determinísticas para regras rígidas e barreiras baseadas em modelo para decisões que exigem julgamento.

Cada barreira de proteção acrescenta latência. Estratégias para manter a velocidade:

• Execute barreiras de saída independentes em paralelo.
• Ordene as verificações determinísticas baratas antes das verificações caras baseadas em modelo.
• Interrompa na primeira decisão de bloqueio grave.
• Transmita a saída, mas retenha a entrega até que as barreiras essenciais sejam aprovadas.

Barreiras de proteção agressivas demais bloqueiam solicitações legítimas e frustram os usuários (o 'não posso ajudar com isso' diante de consultas inofensivas). Ajuste os limites usando um conjunto rotulado e acompanhe a taxa de falsos positivos como uma métrica essencial, não apenas a revocação em ataques.

Se você transmite tokens ao usuário, uma violação detectada tarde pode já estar na tela. Opções:

• Armazene tudo, faça as verificações e depois libere (mais seguro, com maior latência).
• Faça a verificação nos limites das frases durante a transmissão.
• Transmita de forma otimista, mas retire ou substitua o conteúdo quando houver uma violação.

Escolha com base no quanto uma saída parcial vazada seria prejudicial.

As barreiras de proteção são registros de conformidade. Registre cada decisão com o resumo criptográfico da entrada, o identificador da barreira, a gravidade e a ação realizada, tendo o cuidado de não registrar o conteúdo sensível em si. Esse registro comprova a aplicação das políticas durante auditorias e orienta os ajustes.

As barreiras de proteção reduzem o risco, mas não o eliminam. Um modelo sem acesso a um segredo não pode vazá-lo. Dê preferência a controles arquiteturais (privilégio mínimo, ferramentas com escopo definido e nenhum dado sensível no contexto) e use barreiras de proteção como última camada, não como a única.

Fundamentos das barreiras de proteção:

• Política determinística aplicada ao redor de um modelo probabilístico.
• As barreiras de entrada economizam custos; as barreiras de saída protegem os usuários.
• Ações: bloquear, Redact, regenerar e encaminhar.
• Combine verificações determinísticas e baseadas em modelo; execute-as em paralelo.
• Acompanhe os falsos positivos, registre as decisões e dê preferência à arquitetura em vez de correções pontuais.

A seguir: filtragem de entrada e saída em profundidade.