Kinesis Data Streams para processamento de eventos em tempo real

Kinesis Data Fluxos (KDS) é um serviço durável e ordenado de transmissão de dados em tempo real. Os dados são organizados em um fluxo composto por um ou mais fragmentos. Cada fragmento é uma sequência ordenada de registros de dados. Os produtores colocam registros nos fragmentos usando uma chave de partição que determina qual fragmento receberá o registro. Os consumidores leem os registros dos fragmentos e os processam na ordem em que chegaram dentro de cada fragmento.

Cada fragmento oferece suporte a uma taxa de gravação de 1 MB/s ou 1.000 registros/s e a uma taxa de leitura de 2 MB/s (compartilhada entre todos os consumidores padrão desse fragmento). A capacidade total do fluxo aumenta linearmente com a quantidade de fragmentos. Use a fórmula: shards_needed = max(write_MB_per_s / 1, read_MB_per_s / 2). Se os produtores atingirem o limite de gravação, serão exibidos erros ProvisionedThroughputExceededException — resolva o problema dividindo os fragmentos ou distribuindo as chaves de partição de maneira mais uniforme.

A chave de partição é uma cadeia de caracteres que o Kinesis transforma usando hash (MD5) para determinar qual fragmento receberá um registro. Uma chave de partição bem escolhida distribui os registros uniformemente entre os fragmentos (prevenção de fragmentos sobrecarregados). Para IoT, use o ID do dispositivo. Para fluxos de cliques, use o ID da sessão ou o ID do usuário. Evite chaves com baixa cardinalidade (por exemplo, o nome do país com apenas 5 valores), pois elas causam fragmentos sobrecarregados: um fragmento recebe uma parcela desproporcional do tráfego de gravação enquanto os outros ficam ociosos.

Os consumidores padrão compartilham a taxa de leitura de 2 MB/s por fragmento usando GetRecords com sondagem. Se você tiver 3 consumidores em um fragmento e cada um precisar de 2 MB/s, eles sofrerão limitação ao compartilhar o total de 2 MB/s. O Enhanced Fan-Out (EFO) fornece a cada consumidor registrado seu próprio canal de leitura dedicado de 2 MB/s por meio de uma conexão persistente de envio HTTP/2 (SubscribeToShard). O EFO adiciona um custo por consumidor-fragmento-hora, mas elimina completamente a contenção de leitura.

O Lambda integra-se nativamente ao Kinesis Data Fluxos por meio de um mapeamento de origem de eventos. O Lambda consulta o fluxo, lê lotes de registros e invoca sua função. Configure BatchSize (de 1 a 10.000 registros), StartingPosition (TRIM_HORIZON para os mais antigos, LATEST para os mais recentes) e BisectBatchOnFunctionError para dividir lotes com falha. O fator de paralelização (de 1 a 10) permite que o Lambda inicie várias invocações simultâneas por fragmento para acompanhar fluxos rápidos.

A Kinesis Client Library (KCL) é uma estrutura de aplicação para criar consumidores robustos do Kinesis em Java (ou em várias linguagens por meio do MultiLangDaemon). A KCL gerencia a enumeração de fragmentos, o gerenciamento de concessões (distribuindo fragmentos entre instâncias de Worker), o registro de pontos de verificação do progresso no DynamoDB e as divisões ou mesclagens graduais de fragmentos. Cada Worker da KCL processa um ou mais fragmentos, e a KCL redistribui automaticamente os fragmentos à medida que os Workers são ampliados ou falham. A KCL é preferível à sondagem direta do SDK em aplicações de consumidores de produção.

O Kinesis Data Fluxos armazena registros por 24 horas por padrão (com possibilidade de extensão para 7 dias ou até 365 dias com retenção de longo prazo, mediante custo adicional). Diferentemente do SQS, os registros consumidos não são excluídos após o consumo — eles permanecem disponíveis até o fim do período de retenção. Isso permite que vários consumidores leiam os mesmos registros de forma independente e possibilita a reprodução ao redefinir o ponto de verificação de um consumidor para um número de sequência anterior — algo extremamente útil para correções de erros ou para preencher dados de novos serviços.

O Kinesis Data Fluxos oferece suporte a dois modos de capacidade. Modo provisionado: você gerencia manualmente o número de fragmentos e paga por fragmento-hora. Modo sob demanda: o Kinesis ajusta automaticamente a capacidade dos fragmentos com base na taxa de entrada (até 200 MB/s de gravação e 400 MB/s de leitura por padrão), e você paga por GB de dados gravados e recuperados. O modo sob demanda é ideal para padrões de tráfego variáveis ou imprevisíveis nos quais você não deseja gerenciar o ajuste da capacidade dos fragmentos.

O Kinesis garante a ordenação dentro de um fragmento — os registros com a mesma chave de partição sempre vão para o mesmo fragmento e são lidos na ordem em que foram gravados. No entanto, não há garantia de ordenação entre fragmentos. Se sua aplicação exigir ordenação global entre todos os registros, use um único fragmento (limitando a taxa de transferência a 1 MB/s) ou reprojete-a para que a ordenação seja necessária apenas dentro de um grupo de chaves de partição (por exemplo, ordenação por dispositivo). Essa é uma distinção comum em provas em comparação com o SQS FIFO, que oferece desduplicação e ordenação rigorosas.

O Kinesis Data Fluxos criptografa os registros no lado do servidor em repouso usando o AWS KMS (CMK ou chave gerenciada pela AWS) quando a criptografia no lado do servidor está habilitada. Todos os dados em trânsito são criptografados com TLS. Para aplicações executadas em uma VPC que não devem enviar dados do fluxo pela internet pública, use um endpoint de interface da VPC (PrivateLink) para o Kinesis, para que o tráfego permaneça totalmente dentro da rede principal da AWS — algo importante para cargas de trabalho regulamentadas.

Para a prova SAA-C03, compare o Kinesis Data Fluxos com as alternativas. Kinesis versus SQS: o Kinesis preserva a ordem dentro de um fragmento e permite que vários consumidores leiam os mesmos dados; o SQS exclui as mensagens após o consumo. Kinesis versus MSK (Kafka): o MSK é o Apache Kafka gerenciado — use-o quando precisar de compatibilidade com o protocolo Kafka, configurações avançadas de tópicos ou estiver migrando do Kafka local. Use o Kinesis para transmissão nativa da AWS, com integração mais estreita ao Lambda, ao Firehose e ao Flink. Escolha o Kinesis, a menos que a pergunta mencione especificamente Kafka ou requisitos de compatibilidade com Kafka.

Teste sua compreensão dos conceitos de AWS Solutions Architect (SAA-C03) desta lição.

Nesta lição, você aprendeu que: Kinesis Data Fluxos fornece fluxos particionados, ordenados e duráveis, com retenção padrão de 24 horas e capacidade de reprodução; Enhanced Fan-Out fornece a cada consumidor 2 MB/s dedicados por fragmento, eliminando a contenção de leitura; e o modo sob demanda ajusta automaticamente a capacidade dos fragmentos para tráfego imprevisível. Em seguida, exploraremos os padrões de coreografia e orquestração na arquitetura orientada a eventos.