Os 10 principais riscos de LLM da OWASP

Os 10 principais riscos da OWASP para aplicativos de modelos de linguagem de grande porte são uma lista, criada pela comunidade, dos riscos de segurança mais críticos específicos de sistemas desenvolvidos com LLM. Ela espelha a conhecida lista dos 10 principais riscos da web da OWASP, mas aborda ameaças que as listas clássicas de AppSec não contemplam.

Ela existe porque os aplicativos com LLM introduzem uma nova superfície de ataque: fluxo de controle em linguagem natural, saída não determinística, cadeias de fornecimento de modelos e agentes autônomos. A lista oferece às equipes de segurança um vocabulário compartilhado e uma lista de verificação para a modelagem de ameaças.

Os códigos abaixo seguem a numeração de 01 a 10 da edição de 2025.

LLM01: Injeção de instruções é consistentemente o principal risco. Textos controlados pelo invasor substituem as instruções do desenvolvedor porque o modelo não consegue distinguir instruções confiáveis de dados não confiáveis.

• Direta: o usuário insere instruções que substituem as originais.
• Indireta: as instruções ficam ocultas em páginas da Web, arquivos ou saídas de ferramentas recuperados.

Medidas de mitigação: aplique o princípio do menor privilégio às ferramentas, trate todo conteúdo recuperado como dados, adicione pontos de verificação humana para ações sensíveis e interrompa o caminho de exfiltração de dados.

LLM02: Divulgação de informações confidenciais abrange casos em que o modelo revela dados que não deveria: PII, segredos, dados proprietários usados no treinamento ou informações de outro locatário.

Os vazamentos ocorrem por meio de dados de treinamento memorizados, injeção de contexto ampla demais ou prompts de system que contêm credenciais.

• Higienize e minimize os dados colocados no contexto.
• Nunca coloque segredos reais nos prompts; use tokens com escopo limitado e curta duração, fornecidos por outro canal.
• Aplique filtragem da saída e verificações de DLP antes de retornar as respostas.

LLM03: Cadeia de fornecimento envolve riscos provenientes de modelos, conjuntos de dados, extensões e bibliotecas de terceiros. Um modelo-base contaminado, um ajuste fino com porta dos fundos obtido de um repositório de modelos ou uma dependência Python maliciosa pode comprometer todo o aplicativo.

• Verifique a procedência e as somas de verificação dos modelos.
• Fixe as versões e revise as licenças.
• Analise arquivos de modelo serializados (pickle pode executar código durante o carregamento) e prefira formatos seguros, como safetensors.

LLM04: Envenenamento de dados e do modelo tem como alvo o fluxo de treinamento ou de ajuste fino. Um invasor que consiga influenciar os dados de treinamento pode implantar portas dos fundos (gatilhos ocultos), enviesar as saídas ou reduzir a qualidade.

Fluxos de RAG que ingerem documentos enviados por usuários continuam sendo uma superfície ativa de envenenamento mesmo após a implantação.

• Verifique e assine as fontes dos dados de treinamento.
• Use detecção de anomalias nos conjuntos de dados.
• Isole e revise o conteúdo contribuído pelos usuários antes de indexá-lo.

LLM05: Tratamento inadequado da saída ocorre quando componentes posteriores confiam na saída do modelo sem validação. Como a saída pode ser influenciada por um invasor por meio de injeção, passá-la sem validação para um terminal, uma consulta SQL, um navegador ou uma função de avaliação é um caminho direto para XSS, SSRF ou RCE.

Regra: trate a saída do LLM exatamente como uma entrada de usuário não confiável. Codifique, validate e isole em um ambiente protegido antes que ela chegue a qualquer interpretador.

LLM06: Autonomia excessiva é o dano causado por conceder ao modelo funcionalidades, permissões ou autonomia em excesso. Quando o modelo pode chamar ferramentas, uma injeção se transforma em uma ação, e não apenas em texto.

• Funcionalidade excessiva: ferramentas de que o aplicativo realmente não precisa.
• Permissões excessivas: uma ferramenta com permissão para gravar e excluir quando somente a leitura seria suficiente.
• Autonomia excessiva: ações de alto impacto sem aprovação humana.

Aplique o princípio do menor privilégio a cada ferramenta e exija confirmação para operações irreversíveis.

LLM07: Vazamento das instruções de system reconhece que os prompts de system não são um armazenamento seguro de segredos. Os invasores geralmente conseguem extraí-los, e eles às vezes contêm credenciais, lógica de negócio oculta ou regras de filtragem que ajudam em novos ataques.

• Presuma que as instruções de system possam ser recuperadas; nunca inclua segredos ou chaves nelas.
• Aplique a autorização no servidor, em vez de esperar que uma regra do prompt seja obedecida.
• Considere quebrado qualquer controle de segurança que exista apenas no texto do prompt.

As entradas restantes:

• LLM08 Fragilidades de vetores e incorporações: riscos nas incorporações de RAG, como vazamento entre locatários, inversão de incorporações e indexação de documentos contaminados. Aplique o controle de acesso no momento da recuperação.
• LLM09 Desinformação: alucinações apresentadas com confiança e confiança excessiva no modelo. Adicione fundamentação, citações e revisão humana para saídas de alto impacto.
• LLM10 Consumo sem limites: negação de serviço e esgotamento financeiro causados por consultas caras ou descontroladas. Aplique limites de taxa, orçamentos de tokens, tempos limite e alertas de custo.

As 10 principais categorias são mais úteis como uma lista de verificação estruturada durante a revisão do projeto:

• Associe cada componente (entrada, recuperação, ferramentas, saída) aos riscos relevantes de LLM.
• Para cada risco, identifique um controle concreto e um responsável.
• Escreva casos de abuso e transforme-os em testes automatizados.

Combine a lista com estruturas existentes, como as 10 principais categorias padrão da OWASP, o MITRE ATLAS para táticas específicas de aprendizado de máquina e a Estrutura de gerenciamento de riscos de IA do NIST para governança.

Nenhum controle isolado cobre esses riscos. Combine várias camadas:

• Camada de entrada: validação, classificação e limites de taxa.
• Camada do modelo: ferramentas com menor privilégio, contexto com escopo definido e modelos de proteção.
• Camada de saída: validação, codificação, DLP e aprovação humana.
• Camada da plataforma: registro, monitoramento, verificação da cadeia de fornecimento e controles de custo.

Presuma que qualquer camada possa falhar e projete o sistema para que uma única falha não se transforme em uma violação.

Teste seus conhecimentos sobre as categorias de LLM da OWASP.

As 10 principais categorias de LLM da OWASP em resumo:

• LLM01 Injeção de instruções, LLM02 Divulgação de informações confidenciais, LLM03 Cadeia de fornecimento, LLM04 Envenenamento de dados e do modelo, LLM05 Tratamento inadequado da saída.
• LLM06 Autonomia excessiva, LLM07 Vazamento das instruções de system, LLM08 Fragilidades de vetores e incorporações, LLM09 Desinformação, LLM10 Consumo sem limites.
• Trate a saída do modelo e as instruções de system como não confiáveis e não secretas.
• Use a lista como uma lista de verificação para modelagem de ameaças, combine-a com MITRE ATLAS e NIST RMF de IA e aplique defesa em profundidade nas camadas de entrada, modelo, saída e plataforma.