Przetwarzanie danych szeregów czasowych przez agentów
Okna kroczące, agregacja i wykrywanie anomalii w strumieniowych danych z czujników.
Przetwarzanie danych szeregów czasowych przez agentów to bezpłatna lekcja AI Agents na CoddyKit. To lekcja 2 z 4. Możesz przeczytać całą lekcję poniżej za darmo — a potem ćwiczyć ją interaktywnie w przeglądarce z wbudowanym edytorem kodu i tutorem AI dostępnym 24/7. To część ścieżki edukacyjnej AI Agents, a Twój postęp synchronizuje się między webem a aplikacją CoddyKit. Kurs AI Agents zawiera 4 lekcji w sumie.
Szeregi czasowe w agentach IoT
Dane z czujników docierają jako szereg czasowy: sekwencja par (timestamp, value). Surowe odczyty z czujników zawierają szum, luki i sporadyczne skoki. Agenci, którzy działają na surowych danych bez ich przetwarzania, często wywołują fałszywe alarmy lub nie wykrywają rzeczywistych zdarzeń.
Przetwarzanie szeregów czasowych przekształca surowe sygnały w praktyczne informacje.
Budowanie bufora okna kroczącego
Okno kroczące przechowuje w pamięci tylko ostatnich N odczytów. Gdy okno jest pełne, najstarszy odczyt jest usuwany w chwili pojawienia się najnowszego. Stanowi to podstawę całej analizy szeregów czasowych w agentach.
from collections import deque
from datetime import datetime
class SensorBuffer:
def __init__(self, window_size: int = 60):
self.window_size = window_size
self._data = deque(maxlen=window_size)
def add(self, value: float, timestamp: datetime = None):
ts = timestamp or datetime.utcnow()
self._data.append({'ts': ts, 'value': value})
def values(self) -> list:
return [d['value'] for d in self._data]
def timestamps(self) -> list:
return [d['ts'] for d in self._data]
def is_full(self) -> bool:
return len(self._data) == self.window_size
buf = SensorBuffer(window_size=60)
buf.add(22.5)
buf.add(22.8)
buf.add(23.1)
print(f'Buffer: {len(buf._data)} readings, values: {buf.values()}')Średnia krocząca
Prosta średnia krocząca (SMA) wygładza szum, uśredniając ostatnie N wartości. Ogranicza wpływ pojedynczych błędnych odczytów czujnika i uwidacznia podstawowy trend. Należy używać jej jako wartości bazowej do wykrywania anomalii.
import statistics
def simple_moving_average(values: list, window: int = 10) -> list:
if len(values) < window:
return []
return [
statistics.mean(values[i - window:i])
for i in range(window, len(values) + 1)
]
def exponential_moving_average(values: list, alpha: float = 0.2) -> list:
"""EMA weights recent values more heavily."""
if not values:
return []
ema = [values[0]]
for v in values[1:]:
ema.append(alpha * v + (1 - alpha) * ema[-1])
return ema
readings = [22.1, 22.3, 22.0, 35.0, 22.2, 22.4, 22.1, 22.3, 22.5, 22.2, 22.4]
sma = simple_moving_average(readings, window=5)
ema = exponential_moving_average(readings, alpha=0.2)
print(f'SMA (last 3): {[round(v,2) for v in sma[-3:]]}')
print(f'EMA (last 3): {[round(v,2) for v in ema[-3:]]}')Wykrywanie skoków
Skok to odczyt, który odbiega od niedawnego trendu o więcej niż N odchyleń standardowych (metoda z-score). Jest to najczęściej stosowane podejście do wykrywania anomalii w danych z czujników.
import statistics
def detect_spikes(
values: list,
window: int = 20,
z_threshold: float = 3.0
) -> list:
"""Returns list of (index, value, z_score) for detected spikes."""
if len(values) < window:
return []
spikes = []
for i in range(window, len(values)):
window_vals = values[i - window:i]
mean = statistics.mean(window_vals)
stdev = statistics.stdev(window_vals)
if stdev == 0:
continue
z_score = abs(values[i] - mean) / stdev
if z_score > z_threshold:
spikes.append({
'index': i,
'value': values[i],
'z_score': round(z_score, 2),
'mean': round(mean, 2)
})
return spikes
data = [22.1, 22.3, 22.0, 22.2, 22.4] * 5 + [55.0] + [22.2, 22.3] * 3
spikes = detect_spikes(data, window=10, z_threshold=3.0)
print('Spikes detected:', spikes)Pandas do analizy szeregów czasowych
W przypadku bardziej zaawansowanej analizy należy wczytać dane z czujników do obiektu pandas DataFrame z indeksem DatetimeIndex. Pandas udostępnia wbudowane operacje przesuwania, ponownego próbkowania i interpolacji, których napisanie jest znacznie szybsze niż ręczne tworzenie pętli.
import pandas as pd
from datetime import datetime, timedelta
# Create a sample time series DataFrame
base_time = datetime(2024, 1, 1, 12, 0, 0)
times = [base_time + timedelta(seconds=i*10) for i in range(20)]
values = [22.1, 22.3, None, 22.0, 22.4, 22.2, 35.0, 22.1,
22.3, 22.2, 22.5, 22.1, None, 22.4, 22.2, 22.3,
22.0, 22.1, 22.4, 22.2]
df = pd.DataFrame({'value': values}, index=pd.DatetimeIndex(times))
df.index.name = 'timestamp'
print('Shape:', df.shape)
print('Missing values:', df['value'].isna().sum())
print(df.head())Obsługa brakujących znaczników czasu
Sieci czujników często nie rejestrują odczytów z powodu problemów z łącznością. Pandas może wykrywać i uzupełniać luki: resample tworzy regularną siatkę, a interpolate uzupełnia brakujące wartości liniowo lub metodą forward-fill. Należy zawsze rejestrować liczbę uzupełnionych wartości.
import pandas as pd
def fill_missing_readings(df: pd.DataFrame, freq: str = '10S') -> pd.DataFrame:
"""
df: DataFrame with DatetimeIndex and 'value' column
freq: expected sampling frequency ('10S' = 10 seconds, '1T' = 1 minute)
"""
original_count = df['value'].notna().sum()
# Resample to regular grid (introduces NaN for missing periods)
df_regular = df.resample(freq).mean()
missing_count = df_regular['value'].isna().sum()
print(f'Missing readings before fill: {missing_count}')
# Forward fill then linear interpolate
df_regular['value'] = df_regular['value'].interpolate(
method='linear', limit=5 # don't fill gaps longer than 5 periods
)
filled_count = df_regular['value'].notna().sum()
print(f'Filled {filled_count - original_count} missing values')
return df_regularPonowne próbkowanie: agregacja z 1 minuty do 5 minut
Ponowne próbkowanie zmniejsza częstotliwość danych o wysokiej częstotliwości do rzadszej rozdzielczości. Ogranicza to szum i wymagania dotyczące miejsca na dane. Użyj resample('5T').agg(), aby obliczyć wartości min, max, mean i std dla każdego 5-minutowego okna.
import pandas as pd
def resample_to_5min(df: pd.DataFrame) -> pd.DataFrame:
return df.resample('5min').agg({
'value': ['mean', 'min', 'max', 'std', 'count']
}).round(3)
# Example with 1-minute data:
times = pd.date_range('2024-01-01 12:00', periods=30, freq='1min')
import random
random.seed(42)
vals = [22.0 + random.gauss(0, 0.5) for _ in range(30)]
df_1min = pd.DataFrame({'value': vals}, index=times)
df_5min = resample_to_5min(df_1min)
print(df_5min)Wykrywanie trendu za pomocą regresji liniowej
Czy temperatura stale rośnie, czy tylko charakteryzuje się szumem? Należy dopasować regresję liniową do okna kroczącego. Dodatnie nachylenie wskazuje trend wzrostowy, a nachylenie przekraczające określony próg wywołuje alert, zanim próg zostanie faktycznie osiągnięty.
def detect_trend(
values: list,
slope_threshold: float = 0.1 # units per second
) -> dict:
import statistics
n = len(values)
if n < 2:
return {'trend': 'insufficient_data'}
x = list(range(n))
x_mean = statistics.mean(x)
y_mean = statistics.mean(values)
numerator = sum((xi - x_mean) * (yi - y_mean) for xi, yi in zip(x, values))
denominator = sum((xi - x_mean) ** 2 for xi in x)
slope = numerator / denominator if denominator != 0 else 0.0
return {
'slope': round(slope, 4),
'trend': 'rising' if slope > slope_threshold
else 'falling' if slope < -slope_threshold
else 'stable',
'alert': abs(slope) > slope_threshold * 2
}
readings = [22.0, 22.5, 23.0, 23.5, 24.0, 24.5, 25.0]
print(detect_trend(readings, slope_threshold=0.3))Decyzja agenta na podstawie szeregu czasowego
Należy połączyć wykrywanie skoków, wykrywanie trendów i średnią kroczącą, aby podjąć złożoną decyzję. Agent korzysta z hierarchii reguł: skoki wywołują natychmiastowe działania, trendy wywołują ostrzeżenia, a LLM obsługuje niejednoznaczne przypadki.
def analyze_sensor_window(
values: list,
topic: str
) -> dict:
if len(values) < 10:
return {'action': 'collecting_data'}
spikes = detect_spikes(values, window=10, z_threshold=3.0)
trend_info = detect_trend(values[-20:], slope_threshold=0.2)
avg = sum(values[-10:]) / 10
if spikes:
return {
'action': 'IMMEDIATE_ALERT',
'reason': f'Spike detected: {spikes[-1]["value"]} (z={spikes[-1]["z_score"]})',
'severity': 'high'
}
if trend_info['alert']:
return {
'action': 'TREND_WARNING',
'reason': f'Rapid {trend_info["trend"]} trend: slope={trend_info["slope"]}',
'severity': 'medium'
}
return {
'action': 'NORMAL',
'avg_last_10': round(avg, 2),
'trend': trend_info['trend']
}
result = analyze_sensor_window([22.0]*15 + [55.0], 'sensors/temp')
print(result)Zapisywanie szeregów czasowych w bazie danych
Na potrzeby długoterminowej analizy należy zapisywać odczyty z czujników w bazie danych szeregów czasowych. Popularnymi rozwiązaniami są TimescaleDB (rozszerzenie PostgreSQL) i InfluxDB. Użycie psycopg2 z TimescaleDB pozwala odpytywać dane za pomocą standardowego SQL oraz funkcji specyficznych dla czasu.
import psycopg2
from datetime import datetime
# TimescaleDB connection (standard PostgreSQL connection)
conn = psycopg2.connect(
host='localhost', port=5432, dbname='iot',
user='agent', password='YOUR_DB_PASSWORD'
)
def insert_reading(topic: str, value: float, ts: datetime = None):
ts = ts or datetime.utcnow()
with conn.cursor() as cur:
cur.execute(
'INSERT INTO sensor_readings (time, topic, value) VALUES (%s, %s, %s)',
(ts, topic, value)
)
conn.commit()
def query_last_hour(topic: str) -> list:
with conn.cursor() as cur:
cur.execute(
'SELECT time, value FROM sensor_readings '
'WHERE topic=%s AND time > NOW() - INTERVAL \'1 hour\' '
'ORDER BY time ASC',
(topic,)
)
return cur.fetchall()Okres wyciszenia alertów
Bez okresu wyciszenia utrzymująca się anomalia może wywołać setki alertów na minutę. Należy zastosować okres wyciszenia dla każdego tematu: po wysłaniu alertu dla danego tematu należy wstrzymać kolejne alerty dla tego tematu przez N sekund.
from datetime import datetime, timedelta
class AlertCooldownManager:
def __init__(self, cooldown_seconds: int = 300):
self.cooldown_seconds = cooldown_seconds
self._last_alert: dict = {} # topic -> last alert datetime
def should_alert(self, topic: str) -> bool:
last = self._last_alert.get(topic)
if last is None:
return True
return (datetime.utcnow() - last).seconds >= self.cooldown_seconds
def mark_alerted(self, topic: str):
self._last_alert[topic] = datetime.utcnow()
def cooldown_remaining(self, topic: str) -> int:
last = self._last_alert.get(topic)
if last is None:
return 0
elapsed = (datetime.utcnow() - last).seconds
return max(0, self.cooldown_seconds - elapsed)
cooldown = AlertCooldownManager(cooldown_seconds=300)
if cooldown.should_alert('sensors/temperature'):
print('Sending alert')
cooldown.mark_alerted('sensors/temperature')
else:
print(f'Cooldown: {cooldown.cooldown_remaining("sensors/temperature")}s remaining')Sprawdzenie wiedzy
Co oznacza wartość z-score powyżej 3.0 przy wykrywaniu skoków?
Podsumowanie: przetwarzanie danych szeregów czasowych
W tej części poznali Państwo pełny zestaw narzędzi do przetwarzania szeregów czasowych przez agentów:
- Bufor okna kroczącego: deque z maxlen zapewniający oszczędne wykorzystanie pamięci podczas przetwarzania strumienia
- Średnia krocząca: SMA i EMA do redukcji szumu
- Wykrywanie skoków: metoda z-score wykorzystująca statystyki okna kroczącego
- Pandas: resample, interpolate i agregowanie z użyciem DatetimeIndex
- Wykrywanie trendów: nachylenie regresji liniowej do wczesnego ostrzegania
- Okres wyciszenia alertów: wstrzymywanie powtarzających się alertów dla utrzymujących się anomalii
Następny temat: automatyczne reakcje agentów na zdarzenia z czujników — kolejki działań, deduplikacja i zasady działań.
Często zadawane pytania
Czy lekcja „Przetwarzanie danych szeregów czasowych przez agentów” jest bezpłatna?
Tak — pełny tekst „Przetwarzanie danych szeregów czasowych przez agentów” jest dostępny za darmo tutaj w sieci. Aby ćwiczyć ją interaktywnie (wbudowany edytor kodu i tutor AI dostępny 24/7) i odblokować resztę kursu AI Agents, przejdź na CoddyKit PRO. Kurs AI Agents zawiera 4 lekcji w sumie.
Co nauczysz się w „Przetwarzanie danych szeregów czasowych przez agentów”?
Okna kroczące, agregacja i wykrywanie anomalii w strumieniowych danych z czujników. Ćwiczysz AI Agents z praktycznym kodem, który uruchamiasz bezpośrednio w przeglądarce, a tutor AI dostępny 24/7 odpowiada na Twoje pytania podczas pracy nad lekcją.
Czy potrzebuję doświadczenia, aby zacząć AI Agents?
Nie wymagamy żadnego doświadczenia. AI Agents w CoddyKit jest strukturyzowany dla początkujących i zaawansowanych użytkowników, więc możesz zacząć tutaj lub od początku i uczyć się w swoim tempie. To lekcja 2 z 4.
Ile czasu zajmuje lekcja „Przetwarzanie danych szeregów czasowych przez agentów”?
Większość lekcji CoddyKit trwa około 5–10 minut. Każda lekcja to mały, interaktywny krok, dzięki czemu robisz systematyczne postępy i zawsze wracasz dokładnie do tego samego miejsca — na webie i w aplikacji.
Czy mogę pisać i uruchamiać kod w tej lekcji AI Agents?
Tak. Każda lekcja AI Agents zawiera wbudowany edytor kodu, więc piszesz i uruchamiasz prawdziwy kod bezpośrednio w przeglądarce i od razu otrzymujesz sprzężenie zwrotne od AI — bez konfiguracji na komputerze.
Wszystkie lekcje w tym kursie
- Protokół MQTT do integracji agentów
- Przetwarzanie danych szeregów czasowych przez agentów
- Automatyczne reagowanie na zdarzenia z czujników
- Wdrażanie lekkich agentów na brzegu sieci