0Pricing
Serverless AWS Lambda Development · レッスン

Kinesisによるリアルタイム処理

Amazon Kinesis Data StreamsとKinesis FirehoseをLambda関数とともに使用し、大規模なデータストリームをリアルタイムで取り込み、処理、配信します。

「Kinesisによるリアルタイム処理」はCoddyKit上の無料Serverless AWS Lambda Developmentレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはServerless AWS Lambda Development学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Serverless AWS Lambda Developmentコースには全4レッスンが含まれています。

このレッスンの一部はまだ翻訳されておらず、英語で表示されています。

Why Real-time Data Matters

In today's fast-paced world, many applications need to react to data instantly. This is known as real-time data processing.

  • Immediate insights: Analyze data as it arrives.
  • Quick responses: Trigger actions without delay.
  • Enhanced user experience: Personalize content on the fly.

Think of fraud detection, live dashboards, or IoT device monitoring.

Introducing Amazon Kinesis

Amazon Kinesis is a powerful suite of services designed for collecting, processing, and analyzing streaming data in real-time. It helps you handle massive volumes of data efficiently.

Key Kinesis services include:

  • Kinesis Data Streams (KDS): For custom applications needing granular control.
  • Kinesis Firehose: For easy delivery to data stores like S3 or Redshift.

Kinesis Data Streams (KDS)

Kinesis Data Streams (KDS) is like a continuous pipeline for high-throughput data. It captures data from various sources and makes it available for processing by different applications.

KDS organizes data into shards. A shard is a base unit of throughput. Data producers write to shards, and data consumers read from them.

Producing Data to KDS

Applications send data to KDS using operations like PutRecord or PutRecords. Each record includes a partition key, which KDS uses to group data and route it to a specific shard.

A good partition key ensures even distribution of data across shards, preventing hot spots and maximizing throughput.

Lambda as a KDS Consumer

AWS Lambda functions are excellent consumers for Kinesis Data Streams. You can configure a Lambda event source mapping to automatically invoke your function whenever new data records are available in a KDS stream.

Lambda polls the stream, reads records in batches, and passes them to your function for processing. This makes building real-time processors very efficient.

Processing Kinesis Records

Here's a simple Python Lambda function that processes records from a Kinesis Data Stream. It iterates through the records in the event and prints their data.

Try running this example:

import base64
import json

def lambda_handler(event, context):
    for record in event['Records']:
        # Kinesis data is base64 encoded
        payload = base64.b64decode(record['kinesis']['data']).decode('utf-8')
        print(f"Processed record: {payload}")
        
    return {'statusCode': 200}

Kinesis Firehose for Delivery

Kinesis Firehose is a fully managed service for delivering real-time streaming data to destinations like Amazon S3, Amazon Redshift, Amazon OpenSearch Service, or HTTP endpoints.

Unlike KDS, Firehose requires almost no administration. You simply create a delivery stream, specify your source and destination, and Firehose handles all the scaling, buffering, and delivery.

Firehose Destinations

Firehose is designed for simplified data delivery. It automatically batches, compresses, and encrypts data before sending it to your chosen destination.

Common destinations include:

  • Amazon S3: For long-term storage and data lakes.
  • Amazon Redshift: For data warehousing and analytics.
  • Amazon OpenSearch Service: For logging and search.
  • HTTP endpoints: For custom integrations.

Transform Data with Firehose & Lambda

Kinesis Firehose can integrate with Lambda to transform incoming data before it's delivered to its final destination. This is incredibly useful for cleaning, enriching, or reformatting data on the fly.

You configure a Lambda function within your Firehose delivery stream, and Firehose invokes it for each batch of records, expecting transformed records in return.

Kinesis Service Comparison

Which statements accurately describe the differences or uses of Kinesis Data Streams (KDS) and Kinesis Firehose?

Recap & Next Steps

You've learned about Amazon Kinesis, a key service for real-time data processing.

  • Kinesis Data Streams (KDS): Offers flexible, shard-based streaming for custom applications, often consumed by Lambda.
  • Kinesis Firehose: Provides a managed solution for delivering streaming data to various destinations, with optional Lambda transformation.

These services, combined with Lambda, enable powerful event-driven architectures for handling massive data streams in real-time.

よくある質問

「Kinesisによるリアルタイム処理」レッスンは無料ですか？

はい。「Kinesisによるリアルタイム処理」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、Serverless AWS Lambda Developmentコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 Serverless AWS Lambda Developmentコースには全4レッスンが含まれています。

「Kinesisによるリアルタイム処理」で何を学びますか？

Amazon Kinesis Data StreamsとKinesis FirehoseをLambda関数とともに使用し、大規模なデータストリームをリアルタイムで取り込み、処理、配信します。 ブラウザで直接実行するハンズオンコードでServerless AWS Lambda Developmentを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

Serverless AWS Lambda Developmentを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのServerless AWS Lambda Developmentは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。

「Kinesisによるリアルタイム処理」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このServerless AWS Lambda Developmentレッスンでコードを書いて実行できますか？

はい。すべてのServerless AWS Lambda Developmentレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

  1. イベント駆動マイクロサービスの構築
  2. Amazon EventBridgeとの統合
  3. Kinesisによるリアルタイム処理
  4. 分散トランザクションのSagaパターン
← Serverless AWS Lambda Developmentに戻る