Como LLMOps difere do MLOps clássico

Você já conhece MLOps. Operações com LLMs são a mesma disciplina aplicada a modelos de linguagem grandes, nos quais os prompts e o contexto importam tanto quanto os pesos. 🤖

Na aprendizagem de máquina clássica, você treina um modelo. Nas operações com LLMs, normalmente chama um modelo pré-treinado por meio de uma API, então seu trabalho principal passa a ser criar prompts e orquestrar processos.

O mesmo modelo pode fornecer respostas muito diferentes dependendo da formulação. Aqui, o prompt se torna um artefato de primeira classe, que você versiona, testa e revisa como código.

Envie o mesmo prompt duas vezes e você poderá obter textos diferentes. Essa não determinismo significa que você não pode afirmar igualdade exata como nos testes clássicos.

Você ajusta a temperatura para trocar criatividade por consistência. Valores menores produzem saídas mais estáveis, o que facilita muito a avaliação e a depuração.

Modelos clássicos leem recursos tabulares. Aplicativos com LLMs inserem documentos e histórico na janela de contexto, portanto a engenharia de contexto substitui a engenharia de recursos.

Você não pode simplesmente calcular a precisão em textos livres. As operações com LLMs dependem de pontuação baseada em critérios, respostas de referência ou outro modelo atuando como avaliador.

Cada solicitação é cobrada com base nos tokens de entrada e de saída. Acompanhar o uso de tokens torna-se uma métrica operacional essencial, pois o custo aumenta diretamente com o tráfego.

A geração é lenta e varia conforme o tamanho da saída. A latência depende da quantidade de tokens emitidos pelo modelo, portanto transmitir as respostas em fluxo mantém os usuários satisfeitos.

LLMs podem alucinar ou vazar dados. As operações com LLMs adicionam barreiras de proteção às entradas e saídas como uma camada padrão, não como algo pensado depois.

Implantar, monitorar e aprimorar continuam sendo importantes. O que muda são as ferramentas: registros de prompts, rastreamento, avaliações e barreiras de proteção passam a fazer parte da sua conhecida estrutura de MLOps.

Você viu como as operações com LLMs mudam o foco do treinamento para prompts, contexto, saídas não determinísticas, tokens e segurança. O mesmo ciclo de vida, novas ferramentas. Um ótimo começo! 🎉