Datumsangaben korrekt parsen

Datums- und Zeitdaten kommen in realen Datensätzen überall vor – etwa als Zeitstempel von Transaktionen, Geburtsdaten, Ereignisprotokolle und Finanzzeiträume. Wenn Datumsangaben als Zeichenfolgen (mit dem Datentyp object) gespeichert sind, können Sie keine Zeitspannen berechnen, keine Resamples nach Monat erstellen und nicht chronologisch sortieren. Durch die Konvertierung von Zeichenfolgen in Pandas' Datentyp datetime64 wird die vollständige Zeitreihen-API verfügbar und eine zeitbezogene Analyse möglich.

pd.to_datetime(series) ist die primäre Funktion, um Zeichenfolgenspalten in datetime64 umzuwandeln. Sie erkennt die meisten gängigen Datumsformate automatisch (ISO 8601, US-amerikanische und europäische Datumsangaben), ohne dass eine Formatzeichenfolge erforderlich ist. Das Ergebnis ist eine Series mit dem Datentyp datetime64[ns] – mit Nanosekundenpräzision und der Möglichkeit, Zeitstempel von 1677 bis 2262 zu speichern.

Wenn die automatische Erkennung zu langsam oder mehrdeutig ist (z. B. kann '01-02-03' den 2. Januar 2003, den 1. Februar 2003 oder den 3. Februar 2001 bedeuten), geben Sie die genaue Formatzeichenfolge mithilfe der strftime-Codes von Python an. Das ist außerdem deutlich schneller: Bei großen Datensätzen kann die explizite Formatanalyse 10-mal schneller sein als die automatische Erkennung, da Pandas nicht mehrere Muster ausprobieren muss.

Reale Datensätze enthalten in Datumsspalten häufig Tippfehler oder Platzhalterzeichenfolgen wie 'TBD', 'N/A' oder '99/99/9999'. Die Übergabe von errors='coerce' weist pd.to_datetime() an, nicht analysierbare Werte in NaT (Not a Time – das datetime-Gegenstück zu NaN) umzuwandeln, anstatt eine Ausnahme auszulösen. So können Sie fehlerhafte Datumsangaben separat identifizieren und behandeln.

Am effizientesten analysieren Sie Datumsangaben bereits beim Laden mithilfe des Parameters parse_dates von pd.read_csv(). Übergeben Sie eine Liste von Spaltennamen (oder Indizes), die als Datumsangaben analysiert werden sollen. Dadurch entfällt ein separater Nachbearbeitungsschritt. Oft ist dieses Vorgehen auch schneller, da Pandas die Analyse während des CSV-Parsings auf C-Ebene durchführt.

Sobald eine Spalte den Datentyp datetime64 besitzt, stellt der .dt-Accessor Dutzende Eigenschaften und Methoden bereit. Sie können .dt.year, .dt.month, .dt.day, .dt.hour, .dt.dayofweek (0=Montag) und .dt.is_month_end extrahieren. Diese Möglichkeiten werden für Feature Engineering bei Zeitreihenvorhersagen und zum Gruppieren von Daten nach Zeiträumen verwendet.

Bei der Zeitreihenanalyse ist es üblich, die Datumsspalte als Index des DataFrames festzulegen. Mit einem DatetimeIndex können Sie zeitbasierte Ausschnitte verwenden (df['2024'], df['2024-01':'2024-06']), auf jede Frequenz resamplen und die vollständige Zeitreihen-API von Pandas nutzen. Verwenden Sie dazu set_index() oder übergeben Sie index_col an read_csv.

Wenn eine Datumsspalte einen Mix aus Formaten enthält (z. B. einige Zeilen mit ISO-Datumsangaben und andere mit US-amerikanischen Datumsangaben), können Sie keine einzelne Formatzeichenfolge angeben. Übergeben Sie format='mixed' (ab Pandas 2.0), um eine zeilenweise Formaterkennung zu ermöglichen, oder bereinigen Sie die Spalte vorab mit regulären Ausdrücken, um alle Datumsangaben vor dem Aufruf von pd.to_datetime() in ein einheitliches Format zu bringen.

Zeitstempel aus der Praxis enthalten häufig Zeitzoneninformationen. pd.to_datetime() kann Zeichenfolgen mit UTC-Versatz analysieren (z. B. '2024-01-15 08:30:00+05:30') und als zeitzonenbewusstes datetime64 speichern. Verwenden Sie .dt.tz_convert('UTC'), um alle Zeitstempel für korrekte Vergleiche und Berechnungen in eine gemeinsame Zeitzone zu normalisieren.

Arithmetik zwischen zwei datetime64-Spalten erzeugt eine Timedelta-Series. Die Anzahl der Tage, Stunden oder Sekunden eines Timedelta können Sie mithilfe der Eigenschaften .dt.days, .dt.seconds und .dt.total_seconds() extrahieren. Dies ist der Standardweg, um Merkmale wie Alter, Dauer oder die Anzahl der Tage seit dem letzten Ereignis zu berechnen.

pd.date_range(start, end, freq=) erzeugt eine Folge gleichmäßig verteilter Datumsangaben als DatetimeIndex. Das ist nützlich, um eine vollständige Zeitachse zu erstellen, an der Sie Ihre Daten neu indizieren können. So erscheint jeder Kalenderzeitraum in der Ausgabe, auch wenn an diesem Tag keine Ereignisse stattfanden. Häufige freq-Werte sind: 'D' (täglich), 'ME' (Monatsende), 'h' (stündlich).

Testen Sie Ihr Verständnis der korrekten Datumsanalyse in Pandas.

In dieser Lektion haben Sie gelernt: pd.to_datetime() wandelt Zeichenfolgenspalten in datetime64 um, format= legt das genaue Muster für Geschwindigkeit und Genauigkeit fest, und errors='coerce' wandelt fehlerhafte Datumsangaben in NaT um, anstatt einen Fehler auszulösen. Der .dt-Accessor extrahiert Jahr, Monat, Tag und weitere Komponenten, und ein DatetimeIndex ermöglicht zeitbasierte Ausschnitte. Als Nächstes sehen wir uns den .str-Accessor für vektorisierte Zeichenfolgenoperationen an.