Architectuurpatronen voor AI-systemen

De Lambda-architectuur lost dit op met twee parallelle lagen: een batchlaag die nauwkeurige weergaven over alle gegevens opnieuw berekent, en een snelheidslaag die recente gegevens met lage latentie verwerkt. Een serveerlaag voegt beide samen voor zoekopdrachten.

De batchlaag verwerkt de volledige gegevensverzameling periodiek opnieuw om gezaghebbende, correcte resultaten te produceren, bijvoorbeeld door elke nacht de features opnieuw te berekenen. De laag is nauwkeurig maar heeft een hoge latentie en kan daarom geen gebeurtenissen van de afgelopen paar seconden weergeven.

De snelheidslaag verwerkt streaminggegevens vrijwel in realtime om het gat sinds de laatste batchuitvoering op te vullen. Hiervoor wordt wat nauwkeurigheid ingeruild voor actualiteit; de resultaten worden uiteindelijk vervangen door de volgende batchuitvoering.

Een feature store is een centraal systeem voor het beheren van ML-features. Het lost een belangrijk probleem op: training en serveren moeten dezelfde featuredefinities gebruiken, anders ziet het model in productie andere invoer dan tijdens de training (een verschil tussen training en serveren).

De offline opslag bevat grote historische featurewaarden, meestal als parquet-bestanden in een datameer of datawarehouse. Deze opslag ondersteunt training en batchscoring, waarbij doorvoer belangrijker is dan latentie.

De online opslag bevat de meest recente featurewaarden in een database met lage latentie, zoals Redis. Tijdens het serveren haalt het model de features hier binnen milliseconden op, met dezelfde definities als in de offline opslag.

De feature store garandeert dat een feature die voor training offline wordt berekend, overeenkomt met wat tijdens het serveren online wordt uitgelezen. Deze consistentie elimineert een belangrijke bron van onopgemerkte fouten in productie en vormt de belangrijkste waarde van de feature store.

Voordat je een nieuw model in productie vertrouwt, voer je het uit in schaduwmodus: het ontvangt echt verkeer en doet voorspellingen, maar die voorspellingen worden in het logboek vastgelegd en niet aan gebruikers aangeboden. Je vergelijkt ze met het huidige model, zonder enig risico voor gebruikers.

Nadat de schaduwmodus heeft aangetoond dat het nieuwe model nauwkeurig en stabiel is op live verkeer, promoveer je het, vaak via een canary-uitrol. Schaduwmodus in combinatie met een canary-uitrol biedt een veilige, gefaseerde route van een getraind model naar volledig productie verkeer.

Je hebt patronen voor AI-systeemarchitectuur geleerd:

• Lambda-architectuur: batchlaag (nauwkeurig) plus snelheidslaag (actueel)
• Feature store: offline parquet voor training, online Redis voor serveren, consistente definities
• Schaduwmodus valideert een nieuw model op echt verkeer voordat het wordt gepromoveerd