Step Functions : orchestrer des flux de travail sans serveur

AWS Step Functions est un service d’orchestration de flux de travail entièrement géré qui coordonne les applications distribuées sous la forme d’une série d’étapes définies dans une machine d’état. Chaque étape de la machine d’état est un état : appel d’une Lambda, appel du SDK AWS, période d’attente, branche parallèle ou choix (if/else). Step Functions gère l’état, les nouvelles tentatives et fournit un historique visuel des exécutions, ce qui évite d’écrire la logique d’orchestration dans le code de l’application.

Les machines d’état sont définies dans Amazon States Language (ASL), un langage fondé sur JSON. Chaque état possède un champ Type (Task, Choice, Wait, Parallel, Map, Pass, Succeed, Fail) et effectue une transition vers un état Next ou se termine. Le champ Resource d’un état Task indique le service AWS à appeler : un ARN pour Lambda, ou un ARN d’intégration de service optimisé pour plus de 200 services AWS, sans Lambda intermédiaire.

Step Functions propose deux types de flux de travail. Flux de travail Standard : durables, d’une durée maximale d’un an, avec une sémantique d’exécution exactement une fois et un historique complet des exécutions conservé pendant 90 jours ; ils conviennent aux processus métier de longue durée. Flux de travail Express : haut débit (plus de 100 000 exécutions par seconde), d’une durée maximale de 5 minutes, avec une sémantique d’exécution au moins une fois et des journaux envoyés à CloudWatch ; ils conviennent au traitement d’événements en temps réel et aux pipelines de données IoT. Faites votre choix en fonction de la durée, du débit et des exigences d’idempotence.

Les états Task de Step Functions prennent en charge deux modèles d’intégration. Request-Response : appeler un service AWS et poursuivre immédiatement (envoi sans attente). Sync Integration : appeler un service et attendre la fin de son exécution avant de passer à l’état suivant (par exemple, attendre la fin d’une tâche ECS, d’un travail Glue ou d’un travail d’entraînement SageMaker). L’intégration synchrone utilise le suffixe :sync:2 dans l’ARN de la ressource et évite d’avoir à écrire une logique d’interrogation.

Un état Choice implémente un branchement conditionnel : l’équivalent, dans un flux de travail, d’une instruction if/else ou switch. Vous définissez Choices comme un tableau de conditions ; la première condition correspondante détermine l’état suivant. Un état Default traite les cas qui ne correspondent à aucune condition. Les états Choice vous permettent d’acheminer une commande vers différents parcours d’exécution selon le type de produit, le niveau du client ou l’état du paiement, sans écrire de logique conditionnelle dans Lambda.

Un état Parallel exécute simultanément plusieurs branches et attend qu’elles soient toutes terminées avant de poursuivre : il est utile pour des tâches concurrentes, comme effectuer au même moment une vérification de solvabilité et une vérification des stocks. Un état Map parcourt un tableau présent dans l’entrée et applique le même ensemble d’états à chaque élément en parallèle : il est utile pour traiter un lot d’éléments renvoyés par une étape précédente, par exemple pour redimensionner plusieurs images importées.

Chaque état Task de Step Functions peut comporter des blocs Retry et Catch pour assurer une gestion résiliente des erreurs. Retry indique les types d’erreurs qui déclenchent automatiquement de nouvelles tentatives, avec les paramètres configurables IntervalSeconds, MaxAttempts et BackoffRate (multiplicateur du délai exponentiel). Catch indique les états de repli pour les erreurs irrécupérables. Cette gestion déclarative des erreurs évite de répéter des blocs try/catch dans les fonctions Lambda.

Un état Wait interrompt l’exécution du flux de travail pendant une durée fixe ou jusqu’à un horodatage précis. Un modèle Callback (utilisant .waitForTaskToken) interrompt l’exécution jusqu’à ce qu’un système externe appelle SendTaskSuccess ou SendTaskFailure avec le jeton. C’est ainsi que Step Functions modélise les étapes d’approbation humaine : envoyez un e-mail contenant le jeton de tâche, puis le flux de travail reprend lorsqu’une personne clique sur un lien d’approbation ou de refus dans son client de messagerie.

Les exécutions de Step Functions peuvent être démarrées par des règles EventBridge, ce qui facilite le déclenchement de flux de travail en réponse aux événements des services AWS. Par exemple, un événement S3 ObjectCreated déclenche une règle EventBridge qui démarre un flux de travail Step Functions de traitement d’images. Step Functions peut également publier ses propres événements dans EventBridge lorsque les exécutions réussissent ou échouent, ce qui permet la supervision et l’alerte en aval sans interroger l’API Step Functions.

La console Step Functions fournit un diagramme visuel de l’exécution du flux de travail indiquant quel état a réussi, lequel est en cours d’exécution et lequel a échoué, avec un code couleur mis à jour en temps réel. Chaque exécution conserve l’intégralité de son historique d’entrée et de sortie pour les flux de travail Standard (conservation pendant 90 jours). Pour les flux de travail Express, les journaux sont envoyés à CloudWatch Logs. Utilisez le traçage X-Ray pour suivre la latence des requêtes de bout en bout entre les fonctions Lambda et les autres services appelés dans le flux de travail.

Savoir quand utiliser Step Functions plutôt que SQS ou EventBridge est une question fréquente à l’examen. Utilisez Step Functions lorsque vous avez besoin d’une orchestration visible et avec état d’un processus en plusieurs étapes, avec gestion des erreurs et branchements. Utilisez SQS pour une messagerie asynchrone fiable de point à point entre deux services, avec de nouvelles tentatives via le délai de visibilité. Utilisez EventBridge pour acheminer les événements vers plusieurs abonnés selon des modèles de contenu. Un flux de travail Step Functions peut intégrer les trois : attendre un message SQS au moyen d’un jeton de tâche, publier la fin du traitement dans EventBridge et enchaîner des appels Lambda et SDK.

Testez votre compréhension des concepts AWS Solutions Architect (SAA-C03) abordés dans cette leçon.

Dans cette leçon, vous avez appris que Step Functions orchestre les flux de travail sous forme de machines à états avec les états Task, Choice, Parallel, Map, Wait et Catch, que les flux de travail Standard prennent en charge jusqu'à 1 an avec un historique complet des exécutions, tandis que les flux de travail Express gèrent des charges de travail à haut débit de moins de 5 minutes, et que le modèle Callback avec des jetons de tâche permet des étapes d'approbation avec intervention humaine. Nous allons maintenant découvrir Kinesis Data Streams pour le traitement d'événements en temps réel à haut débit.