Inferência on-line em tempo real

A inferência online responde a uma solicitação por vez, no instante em que ela chega, para que um usuário ou serviço receba imediatamente uma previsão atualizada. ⚡

Ao contrário do processamento em lote, aqui há alguém esperando do outro lado. A previsão precisa voltar em milissegundos, não em minutos, para que a experiência pareça ágil.

Um modelo online fica atrás de um endpoint HTTP. Um cliente envia as características em uma solicitação e recebe a previsão de volta na resposta.

Cada chamada transporta a entrada de um único caso. O serviço executa predict com ela e retorna a pontuação, depois atende ao próximo solicitante.

Como as características chegam junto com a solicitação, a pontuação reflete o estado mais recente, o que é ideal quando as entradas mudam a cada segundo.

O número que você acompanha é a latência: o tempo entre a solicitação e a resposta. Muitas vezes, acompanha-se o percentil lento de 95% e 99%, não apenas a média.

Carregar o modelo a cada solicitação seria lento. Em vez disso, carregue-o uma vez na inicialização e reutilize-o em todas as chamadas recebidas.

Muitos usuários acessam o serviço ao mesmo tempo. Ele precisa atender às solicitações simultaneamente, geralmente com vários trabalhadores, para manter a latência baixa sob carga.

Verificações de fraude no pagamento, classificação de resultados de busca e componentes de recomendação precisam de respostas instantâneas, por isso usam inferência online.

Um serviço online precisa permanecer em execução e pronto o tempo todo. Essa estrutura sempre ativa custa mais do que um trabalho que é iniciado e encerrado.

Escolha o processamento online quando as entradas forem desconhecidas antecipadamente e os usuários precisarem de uma resposta atualizada agora, aceitando um custo maior e mais cuidados operacionais.

A inferência online fornece uma previsão atualizada por solicitação, atrás de uma API, prioriza baixa latência e custa mais porque precisa permanecer sempre ativa.