Datums correct parseren

Datum- en tijdgegevens komen overal voor in realistische gegevensverzamelingen — tijdstempels van transacties, geboortedatums, gebeurtenislogboeken en financiële perioden. Wanneer datums als tekenreeksen zijn opgeslagen (het dtype object), kun je geen tijdsduur berekenen, per maand resamplen of chronologisch sorteren. Door tekenreeksen te converteren naar Pandas' dtype datetime64 krijg je toegang tot de volledige API voor tijdreeksen en wordt temporele analyse mogelijk.

pd.to_datetime(series) is de belangrijkste functie om tekenreekskolommen naar datetime64 te converteren. De functie herkent automatisch de meeste gangbare datumindelingen (ISO 8601, Amerikaanse datums, Europese datums), zonder dat je een formattekenreeks hoeft op te geven. Het resultaat is een Series met dtype datetime64[ns] — precisie tot op nanoseconden, geschikt voor tijdstempels van 1677 tot 2262.

Wanneer automatische afleiding te traag of dubbelzinnig is (bijvoorbeeld: '01-02-03' kan 2 januari 2003, 1 februari 2003 of 3 februari 2001 betekenen), geef je de exacte formattekenreeks op met de strftime-codes van Python. Dit is ook aanzienlijk sneller — bij grote gegevensverzamelingen kan parseren met een expliciete indeling 10 keer sneller zijn dan automatisch afleiden, omdat Pandas niet meerdere patronen hoeft uit te proberen.

Realistische gegevensverzamelingen bevatten vaak typefouten of tijdelijke tekenreeksen zoals 'TBD', 'N/A' of '99/99/9999' in datumkolommen. Als je errors='coerce' meegeeft, converteert pd.to_datetime() niet-parseerbare waarden naar NaT (Not a Time — het datetime-equivalent van NaN) in plaats van een uitzondering op te werpen. Zo kun je ongeldige datums afzonderlijk vinden en verwerken.

Je kunt datums het efficiëntst parseren tijdens het laden met de parameter parse_dates van pd.read_csv(). Geef een lijst met kolomnamen (of indexen) door die als datums moeten worden geparsed. Daarmee vermijd je een afzonderlijke nabewerkingsstap en ben je vaak sneller, omdat Pandas dit tijdens het parseren van de CSV op C-niveau afhandelt.

Zodra een kolom het dtype datetime64 heeft, geeft de accessor .dt toegang tot tientallen eigenschappen en methoden. Je kunt .dt.year, .dt.month, .dt.day, .dt.hour, .dt.dayofweek (0=maandag) en .dt.is_month_end ophalen. Je gebruikt deze voor feature-engineering bij het voorspellen van tijdreeksen en om gegevens per periode te groeperen.

Bij tijdreeksanalyse is het gebruikelijk om de datumtijdkolom in te stellen als de index van de DataFrame. Met een DatetimeIndex kun je tijdgebaseerd selecteren (df['2024'], df['2024-01':'2024-06']), naar elke frequentie resamplen en de volledige API voor tijdreeksen van Pandas gebruiken. Gebruik set_index() of geef index_col door aan read_csv.

Als een datumkolom een mix van indelingen bevat (bijvoorbeeld: sommige rijen bevatten ISO-datums en andere datums in Amerikaanse stijl), kun je geen enkele formattekenreeks opgeven. Geef format='mixed' door (Pandas 2.0+) om de indeling per rij te laten detecteren, of maak de kolom vooraf schoon met regex om alle datums naar één indeling te normaliseren voordat je pd.to_datetime() aanroept.

Tijdstempels uit de praktijk bevatten vaak informatie over de tijdzone. pd.to_datetime() kan tekenreeksen met UTC-verschuivingen parseren (bijvoorbeeld '2024-01-15 08:30:00+05:30') en ze opslaan als datetime64 met tijdzone. Gebruik .dt.tz_convert('UTC') om alle tijdstempels naar een gemeenschappelijke tijdzone te normaliseren voor correcte vergelijkingen en berekeningen.

Rekenkundige bewerkingen tussen twee datetime64-kolommen leveren een Timedelta-Series op. Je kunt het aantal dagen, uren of seconden uit een Timedelta ophalen met de eigenschappen .dt.days, .dt.seconds en .dt.total_seconds(). Dit is de standaardmanier om kenmerken zoals leeftijd, tijdsduur of het aantal dagen sinds de laatste gebeurtenis te berekenen.

pd.date_range(start, end, freq=) genereert een reeks gelijkmatig verdeelde datums als een DatetimeIndex. Dit is handig om een volledige tijdas te maken waartegen je je gegevens opnieuw kunt indexeren — zo verschijnt elke kalenderperiode in de uitvoer, ook als er die dag geen gebeurtenissen waren. Veelgebruikte waarden voor freq: 'D' (dagelijks), 'ME' (maandeinde), 'h' (elk uur).

In deze les heb je geleerd dat pd.to_datetime() tekenreekskolommen naar datetime64 converteert, dat format= het exacte patroon opgeeft voor snelheid en nauwkeurigheid, en dat errors='coerce' ongeldige datums omzet naar NaT in plaats van dat de uitvoering stopt. De accessor .dt haalt het jaar, de maand, de dag en andere onderdelen op, en met een DatetimeIndex kun je tijdgebaseerd selecteren. Hierna verkennen we de accessor .str voor gevectoriseerde bewerkingen op tekenreeksen.