Analizar fechas correctamente

Los datos de fecha y hora son omnipresentes en los conjuntos de datos del mundo real: marcas de tiempo de transacciones, fechas de nacimiento, registros de eventos y periodos financieros. Cuando las fechas se almacenan como cadenas (el tipo de datos object), no puede calcular duraciones, cambiar la frecuencia por mes ni ordenar cronológicamente. Convertir las cadenas al tipo de datos datetime64 de Pandas permite acceder a toda la API de series temporales y hace posible el análisis temporal.

pd.to_datetime(series) es la función principal para convertir columnas de cadenas a datetime64. Puede reconocer automáticamente la mayoría de los formatos de fecha habituales (ISO 8601, fechas de EE. UU. y fechas europeas) sin que sea necesario indicar una cadena de formato. El resultado es una Series con el tipo de datos datetime64[ns]: precisión de nanosegundos y capacidad para almacenar marcas de tiempo desde 1677 hasta 2262.

Cuando la inferencia automática es demasiado lenta o ambigua (por ejemplo, '01-02-03' podría ser el 2 de enero de 2003, el 1 de febrero de 2003 o el 3 de febrero de 2001), proporcione la cadena de formato exacta usando los códigos strftime de Python. Esto también es considerablemente más rápido: en conjuntos de datos grandes, analizar con un formato explícito puede ser 10 veces más rápido que la inferencia automática, porque Pandas no necesita probar varios patrones.

Los conjuntos de datos reales suelen contener errores tipográficos o cadenas de marcador de posición como 'TBD', 'N/A' o '99/99/9999' en las columnas de fechas. Pasar errors='coerce' indica a pd.to_datetime() que convierta los valores que no se puedan analizar en NaT (Not a Time, el equivalente de datetime de NaN) en lugar de generar una excepción. Esto le permite identificar y gestionar las fechas incorrectas por separado.

El momento más eficiente para analizar las fechas es durante la carga, usando el parámetro parse_dates de pd.read_csv(). Pase una lista de nombres de columnas (o índices) que deban analizarse como fechas. Esto evita un paso independiente de posprocesamiento y suele ser más rápido, porque Pandas lo gestiona durante el análisis del CSV a nivel de C.

Una vez que una columna tiene el tipo de datos datetime64, el accesor .dt habilita decenas de propiedades y métodos. Puede extraer .dt.year, .dt.month, .dt.day, .dt.hour, .dt.dayofweek (0 = lunes) y .dt.is_month_end. Estos elementos se usan para la ingeniería de características en la predicción de series temporales y para agrupar datos por periodo de tiempo.

En el análisis de series temporales, es habitual establecer la columna de fecha y hora como el índice del DataFrame. Con un DatetimeIndex, puede usar el filtrado basado en tiempo (df['2024'], df['2024-01':'2024-06']), cambiar la frecuencia a cualquier intervalo y acceder a toda la API de series temporales de Pandas. Use set_index() o pase index_col en read_csv.

Si una columna de fechas contiene una mezcla de formatos (por ejemplo, algunas filas tienen fechas ISO y otras fechas con formato estadounidense), no puede especificar una única cadena de formato. Pase format='mixed' (Pandas 2.0 o posterior) para permitir la detección del formato fila por fila, o limpie previamente la columna con expresiones regulares para normalizar todas las fechas a un único formato antes de llamar a pd.to_datetime().

Las marcas de tiempo del mundo real suelen incluir información de zona horaria. pd.to_datetime() puede analizar cadenas con desplazamiento UTC (por ejemplo, '2024-01-15 08:30:00+05:30') y almacenarlas como datetime64 con zona horaria. Use .dt.tz_convert('UTC') para normalizar todas las marcas de tiempo a una zona horaria común y realizar comparaciones y operaciones aritméticas correctas.

La aritmética entre dos columnas datetime64 produce una Series de tipo Timedelta. Puede extraer el número de días, horas o segundos de un Timedelta mediante las propiedades .dt.days, .dt.seconds y .dt.total_seconds(). Esta es la forma estándar de calcular características como la edad, la duración o los días transcurridos desde el último evento.

pd.date_range(start, end, freq=) genera una secuencia de fechas espaciadas uniformemente como un DatetimeIndex. Esto resulta útil para crear una estructura temporal completa contra la que pueda cambiar el índice de sus datos, lo que garantiza que todos los periodos del calendario aparezcan en la salida aunque no hubiera eventos ese día. Valores habituales de freq: 'D' (diario), 'ME' (fin de mes), 'h' (cada hora).

En esta lección ha aprendido que pd.to_datetime() convierte columnas de cadenas a datetime64, format= especifica el patrón exacto para mejorar la velocidad y la precisión, y errors='coerce' convierte las fechas incorrectas en NaT en lugar de provocar un error. El accesor .dt extrae el año, el mes, el día y otros componentes, y establecer un DatetimeIndex permite realizar filtrado basado en tiempo. A continuación, explorará el accesor .str para realizar operaciones vectorizadas con cadenas.