Padrões de arquitetura de sistemas de IA

Um sistema de IA em produção é muito mais do que um arquivo de modelo. Ele inclui fluxos de dados, armazenamentos de características, infraestrutura de disponibilização e monitoramento. Padrões de arquitetura são modelos comprovados para montar essas partes de forma confiável.

Os sistemas de IA geralmente precisam dos dois:

• Processamento em lote para obter resultados precisos e abrangentes sobre dados históricos
• Processamento em tempo real para obter resultados atuais e com baixa latência sobre novos eventos

Conciliar essas duas necessidades é um desafio recorrente de projeto.

A arquitetura Lambda responde a isso com duas camadas executadas em paralelo: uma camada de lote, que recalcula visões precisas sobre todos os dados, e uma camada de velocidade, que processa os dados recentes com baixa latência. Uma camada de disponibilização combina ambas para atender às consultas.

A camada de lote reprocessa periodicamente o conjunto de dados completo para produzir resultados oficiais e corretos, como o recálculo noturno de características. Ela é precisa, mas tem alta latência, portanto não consegue refletir eventos ocorridos nos últimos segundos.

A camada de velocidade processa dados em fluxo contínuo quase em tempo real para preencher a lacuna desde a última execução em lote. Ela troca parte da precisão por atualidade, e seus resultados acabam sendo substituídos pela próxima execução em lote.

Um armazenamento de características é um sistema central para gerenciar características de ML. Ele resolve um problema crítico: o treinamento e a disponibilização devem usar as mesmas definições de características; caso contrário, o modelo recebe entradas diferentes em produção daquelas usadas no treinamento (desalinhamento entre treinamento e disponibilização).

O armazenamento off-line contém grandes volumes de valores históricos de características, normalmente em arquivos parquet em um lago ou armazém de dados. Ele alimenta o treinamento e a geração de previsões em lote, nos quais a capacidade de processamento é mais importante que a latência.

O armazenamento on-line contém os valores mais recentes das características em um banco de dados de baixa latência, como o Redis. No momento da disponibilização, o modelo busca as características aqui em milissegundos, usando as mesmas definições do armazenamento off-line.

O armazenamento de características garante que uma característica calculada para o treinamento (off-line) corresponda ao que a disponibilização lê (on-line). Essa consistência elimina uma das principais fontes de erros silenciosos em produção e constitui o principal valor do armazenamento de características.

Antes de confiar em um novo modelo em produção, execute-o no modo sombra: ele recebe tráfego real e faz previsões, mas essas previsões são registradas, não disponibilizadas aos usuários. Você as compara com as do modelo atual sem nenhum risco para os usuários.

Depois que o modo sombra mostrar que o novo modelo é preciso e estável com tráfego real, você o promove, geralmente por meio de uma implantação gradual do tipo canário. O modo sombra junto com o canário oferece um caminho seguro e gradual desde um modelo treinado até o tráfego completo de produção.

Teste seus conhecimentos sobre arquitetura.

Você aprendeu padrões de arquitetura de sistemas de IA:

• Arquitetura Lambda: camada de lote (precisa) mais camada de velocidade (atual)
• Armazenamento de características: parquet off-line para treinamento, Redis on-line para disponibilização e definições consistentes
• O modo sombra valida um novo modelo com tráfego real antes da promoção