Inferenza online in tempo reale

L’inferenza online risponde a una richiesta alla volta, nell’istante in cui arriva, così un utente o un servizio riceve subito una predizione aggiornata. ⚡

A differenza del batch, qui qualcuno attende la risposta. La predizione deve arrivare in millisecondi, non in minuti, per risultare reattiva.

Un modello online si trova dietro un endpoint HTTP. Un client invia le feature in una richiesta e riceve la predizione nella risposta.

Ogni chiamata contiene l’input per un singolo caso. Il servizio esegue predict su di esso e restituisce il punteggio, quindi gestisce il chiamante successivo.

Poiché le feature arrivano insieme alla richiesta, il punteggio riflette lo stato più recente: è perfetto quando gli input cambiano di secondo in secondo.

Il valore da monitorare è la latenza: il tempo che intercorre tra la richiesta e la risposta. Spesso si osservano il 95° e il 99° percentile, che rappresentano le richieste più lente, non solo la media.

Caricare il modello a ogni richiesta sarebbe lento. Invece, lo si carica una volta all’avvio e lo si riutilizza per tutte le chiamate in arrivo.

Molti utenti accedono al servizio contemporaneamente. Per mantenere bassa la latenza sotto carico, il servizio deve gestire le richieste in parallelo, spesso con più worker.

I controlli antifrode al checkout, il ranking delle ricerche e i widget di raccomandazione hanno tutti bisogno di risposte immediate, quindi usano l’inferenza online.

Un servizio online deve rimanere in esecuzione e pronto 24 ore su 24. Questa infrastruttura sempre attiva costa più di un job che viene avviato e poi arrestato.

Scelga l’online quando gli input non sono noti in anticipo e gli utenti hanno bisogno di una risposta aggiornata subito, accettando costi e impegno operativo maggiori.

L’inferenza online fornisce una predizione aggiornata per ogni richiesta tramite un’API, punta a una latenza ridotta e costa di più perché deve rimanere sempre attiva.