エージェントにおける時系列データ処理
ストリーミングセンサーデータに対して、ローリングウィンドウ、集計、異常検知を行います。
「エージェントにおける時系列データ処理」はCoddyKit上の無料AI Agentsレッスンです。 これはレッスン2/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはAI Agents学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 AI Agentsコースには全4レッスンが含まれています。
IoTエージェントにおける時系列データ
センサーデータは時系列として、（タイムスタンプ、値）の組の列で到着します。生のセンサー読み取り値には、ノイズ、欠損、時折発生するスパイクが含まれます。データを処理せずに生の値に基づいて動作するエージェントは、誤警報を発生させたり、実際のイベントを見逃したりしやすくなります。
時系列処理によって、生の信号が実用的な洞察に変換されます。
ローリングウィンドウバッファーの構築
ローリングウィンドウは、直近N件の読み取り値だけをメモリに保持します。ウィンドウがいっぱいになると、新しい値が到着するたびに最も古い値が破棄されます。これは、エージェントで行うすべての時系列分析の基盤です。
from collections import deque
from datetime import datetime
class SensorBuffer:
def __init__(self, window_size: int = 60):
self.window_size = window_size
self._data = deque(maxlen=window_size)
def add(self, value: float, timestamp: datetime = None):
ts = timestamp or datetime.utcnow()
self._data.append({'ts': ts, 'value': value})
def values(self) -> list:
return [d['value'] for d in self._data]
def timestamps(self) -> list:
return [d['ts'] for d in self._data]
def is_full(self) -> bool:
return len(self._data) == self.window_size
buf = SensorBuffer(window_size=60)
buf.add(22.5)
buf.add(22.8)
buf.add(23.1)
print(f'Buffer: {len(buf._data)} readings, values: {buf.values()}')移動平均
単純移動平均（SMA）は、直近N個の値を平均してノイズを平滑化します。個々のセンサーの一時的な異常による影響を抑え、基礎となる傾向を明らかにします。異常検知の基準値として使用してください。
import statistics
def simple_moving_average(values: list, window: int = 10) -> list:
if len(values) < window:
return []
return [
statistics.mean(values[i - window:i])
for i in range(window, len(values) + 1)
]
def exponential_moving_average(values: list, alpha: float = 0.2) -> list:
"""EMA weights recent values more heavily."""
if not values:
return []
ema = [values[0]]
for v in values[1:]:
ema.append(alpha * v + (1 - alpha) * ema[-1])
return ema
readings = [22.1, 22.3, 22.0, 35.0, 22.2, 22.4, 22.1, 22.3, 22.5, 22.2, 22.4]
sma = simple_moving_average(readings, window=5)
ema = exponential_moving_average(readings, alpha=0.2)
print(f'SMA (last 3): {[round(v,2) for v in sma[-3:]]}')
print(f'EMA (last 3): {[round(v,2) for v in ema[-3:]]}')スパイク検出
スパイクとは、直近の傾向からN標準偏差を超えて逸脱した読み取り値です（zスコア法）。これはセンサーデータで最も一般的な異常検知手法です。
import statistics
def detect_spikes(
values: list,
window: int = 20,
z_threshold: float = 3.0
) -> list:
"""Returns list of (index, value, z_score) for detected spikes."""
if len(values) < window:
return []
spikes = []
for i in range(window, len(values)):
window_vals = values[i - window:i]
mean = statistics.mean(window_vals)
stdev = statistics.stdev(window_vals)
if stdev == 0:
continue
z_score = abs(values[i] - mean) / stdev
if z_score > z_threshold:
spikes.append({
'index': i,
'value': values[i],
'z_score': round(z_score, 2),
'mean': round(mean, 2)
})
return spikes
data = [22.1, 22.3, 22.0, 22.2, 22.4] * 5 + [55.0] + [22.2, 22.3] * 3
spikes = detect_spikes(data, window=10, z_threshold=3.0)
print('Spikes detected:', spikes)時系列分析のためのPandas
より高度な分析を行う場合は、DatetimeIndexを持つpandas DataFrameにセンサーデータを読み込みます。Pandasにはrolling、resampling、interpolationの組み込み操作が用意されており、手動ループよりもはるかに短時間で記述できます。
import pandas as pd
from datetime import datetime, timedelta
# Create a sample time series DataFrame
base_time = datetime(2024, 1, 1, 12, 0, 0)
times = [base_time + timedelta(seconds=i*10) for i in range(20)]
values = [22.1, 22.3, None, 22.0, 22.4, 22.2, 35.0, 22.1,
22.3, 22.2, 22.5, 22.1, None, 22.4, 22.2, 22.3,
22.0, 22.1, 22.4, 22.2]
df = pd.DataFrame({'value': values}, index=pd.DatetimeIndex(times))
df.index.name = 'timestamp'
print('Shape:', df.shape)
print('Missing values:', df['value'].isna().sum())
print(df.head())欠損したタイムスタンプの処理
センサーネットワークでは、接続の問題によって読み取り値が欠損することがよくあります。Pandasで欠損を検出して補完できます。resampleは規則的なグリッドを作成し、interpolateは欠損値を線形補間または前方補完で埋めます。補完した値の数は必ずログに記録してください。
import pandas as pd
def fill_missing_readings(df: pd.DataFrame, freq: str = '10S') -> pd.DataFrame:
"""
df: DataFrame with DatetimeIndex and 'value' column
freq: expected sampling frequency ('10S' = 10 seconds, '1T' = 1 minute)
"""
original_count = df['value'].notna().sum()
# Resample to regular grid (introduces NaN for missing periods)
df_regular = df.resample(freq).mean()
missing_count = df_regular['value'].isna().sum()
print(f'Missing readings before fill: {missing_count}')
# Forward fill then linear interpolate
df_regular['value'] = df_regular['value'].interpolate(
method='linear', limit=5 # don't fill gaps longer than 5 periods
)
filled_count = df_regular['value'].notna().sum()
print(f'Filled {filled_count - original_count} missing values')
return df_regularリサンプリング：1分単位から5分単位への集約
リサンプリングは、高頻度データをより粗い解像度にダウンサンプリングします。これにより、ノイズとストレージ要件を削減できます。resample('5T').agg()を使用して、各5分間のウィンドウについて最小値、最大値、平均値、標準偏差を計算します。
import pandas as pd
def resample_to_5min(df: pd.DataFrame) -> pd.DataFrame:
return df.resample('5min').agg({
'value': ['mean', 'min', 'max', 'std', 'count']
}).round(3)
# Example with 1-minute data:
times = pd.date_range('2024-01-01 12:00', periods=30, freq='1min')
import random
random.seed(42)
vals = [22.0 + random.gauss(0, 0.5) for _ in range(30)]
df_1min = pd.DataFrame({'value': vals}, index=times)
df_5min = resample_to_5min(df_1min)
print(df_5min)線形回帰によるトレンド検出
温度は着実に上昇しているのでしょうか、それとも単にノイズが多いだけでしょうか。ローリングウィンドウに対して線形回帰を適用します。正の傾きは上昇傾向を示し、傾きがしきい値を超えると、しきい値に達する前にアラートを発生させます。
def detect_trend(
values: list,
slope_threshold: float = 0.1 # units per second
) -> dict:
import statistics
n = len(values)
if n < 2:
return {'trend': 'insufficient_data'}
x = list(range(n))
x_mean = statistics.mean(x)
y_mean = statistics.mean(values)
numerator = sum((xi - x_mean) * (yi - y_mean) for xi, yi in zip(x, values))
denominator = sum((xi - x_mean) ** 2 for xi in x)
slope = numerator / denominator if denominator != 0 else 0.0
return {
'slope': round(slope, 4),
'trend': 'rising' if slope > slope_threshold
else 'falling' if slope < -slope_threshold
else 'stable',
'alert': abs(slope) > slope_threshold * 2
}
readings = [22.0, 22.5, 23.0, 23.5, 24.0, 24.5, 25.0]
print(detect_trend(readings, slope_threshold=0.3))時系列に基づくエージェントの判断
スパイク検出、トレンド検出、移動平均を組み合わせて、複合的な判断を行います。エージェントはルール階層を使用します。スパイクは即座にアクションを実行し、トレンドは警告を発し、曖昧なケースはLLMが処理します。
def analyze_sensor_window(
values: list,
topic: str
) -> dict:
if len(values) < 10:
return {'action': 'collecting_data'}
spikes = detect_spikes(values, window=10, z_threshold=3.0)
trend_info = detect_trend(values[-20:], slope_threshold=0.2)
avg = sum(values[-10:]) / 10
if spikes:
return {
'action': 'IMMEDIATE_ALERT',
'reason': f'Spike detected: {spikes[-1]["value"]} (z={spikes[-1]["z_score"]})',
'severity': 'high'
}
if trend_info['alert']:
return {
'action': 'TREND_WARNING',
'reason': f'Rapid {trend_info["trend"]} trend: slope={trend_info["slope"]}',
'severity': 'medium'
}
return {
'action': 'NORMAL',
'avg_last_10': round(avg, 2),
'trend': trend_info['trend']
}
result = analyze_sensor_window([22.0]*15 + [55.0], 'sensors/temp')
print(result)時系列データのデータベースへの永続化
長期的な分析を行うには、センサーの読み取り値を時系列データベースに永続化します。TimescaleDB（PostgreSQLの拡張）とInfluxDBがよく使われます。TimescaleDBでpsycopg2を使用すると、標準SQLに加えて時系列向けの関数でデータをクエリできます。
import psycopg2
from datetime import datetime
# TimescaleDB connection (standard PostgreSQL connection)
conn = psycopg2.connect(
host='localhost', port=5432, dbname='iot',
user='agent', password='YOUR_DB_PASSWORD'
)
def insert_reading(topic: str, value: float, ts: datetime = None):
ts = ts or datetime.utcnow()
with conn.cursor() as cur:
cur.execute(
'INSERT INTO sensor_readings (time, topic, value) VALUES (%s, %s, %s)',
(ts, topic, value)
)
conn.commit()
def query_last_hour(topic: str) -> list:
with conn.cursor() as cur:
cur.execute(
'SELECT time, value FROM sensor_readings '
'WHERE topic=%s AND time > NOW() - INTERVAL \'1 hour\' '
'ORDER BY time ASC',
(topic,)
)
return cur.fetchall()アラートのクールダウン期間
クールダウンがなければ、持続する異常によって1分間に何百件ものアラートが発生します。トピックごとのクールダウンを実装し、あるトピックについてアラートを1件送信したら、そのトピックに対する追加のアラートをN秒間抑止します。
from datetime import datetime, timedelta
class AlertCooldownManager:
def __init__(self, cooldown_seconds: int = 300):
self.cooldown_seconds = cooldown_seconds
self._last_alert: dict = {} # topic -> last alert datetime
def should_alert(self, topic: str) -> bool:
last = self._last_alert.get(topic)
if last is None:
return True
return (datetime.utcnow() - last).seconds >= self.cooldown_seconds
def mark_alerted(self, topic: str):
self._last_alert[topic] = datetime.utcnow()
def cooldown_remaining(self, topic: str) -> int:
last = self._last_alert.get(topic)
if last is None:
return 0
elapsed = (datetime.utcnow() - last).seconds
return max(0, self.cooldown_seconds - elapsed)
cooldown = AlertCooldownManager(cooldown_seconds=300)
if cooldown.should_alert('sensors/temperature'):
print('Sending alert')
cooldown.mark_alerted('sensors/temperature')
else:
print(f'Cooldown: {cooldown.cooldown_remaining("sensors/temperature")}s remaining')知識チェック
スパイク検出でzスコアが3.0を超える場合、何を示しますか？
まとめ：時系列データ処理
エージェントに必要な時系列処理ツールキット全体を学びました：
- ローリングウィンドウバッファー：maxlen付きのdequeによるメモリ効率の高いストリーミング
- 移動平均：ノイズ低減のためのSMAとEMA
- スパイク検出：ローリングウィンドウの統計量に対するzスコア法
- Pandas：DatetimeIndexを使ったresample、interpolate、aggregate
- トレンド検出：早期警告のための線形回帰の傾き
- アラートのクールダウン：持続する異常に対するアラートの繰り返しを抑止
次は、センサーイベントへのエージェントによる自動応答です。アクションキュー、重複排除、アクションポリシーについて学びます。
よくある質問
「エージェントにおける時系列データ処理」レッスンは無料ですか？
はい。「エージェントにおける時系列データ処理」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、AI Agentsコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 AI Agentsコースには全4レッスンが含まれています。
「エージェントにおける時系列データ処理」で何を学びますか？
ストリーミングセンサーデータに対して、ローリングウィンドウ、集計、異常検知を行います。 ブラウザで直接実行するハンズオンコードでAI Agentsを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
AI Agentsを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのAI Agentsは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン2/4です。
「エージェントにおける時系列データ処理」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このAI Agentsレッスンでコードを書いて実行できますか？
はい。すべてのAI Agentsレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。
このコースのすべてのレッスン
- エージェント連携のための MQTT プロトコル
- エージェントにおける時系列データ処理
- センサーイベントへの自動応答
- 軽量エージェントのエッジデプロイ