Tratamiento de datos faltantes

Los datos faltantes son habituales en los conjuntos de datos y pueden afectar al análisis y al rendimiento de los modelos. En esta lección, exploraremos técnicas para identificar y tratar los valores faltantes de forma eficaz.

Identificación de datos faltantes

Puede identificar datos faltantes en Python mediante Pandas. El método isnull() detecta valores faltantes en un conjunto de datos.

Ejemplo:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Recuento de valores faltantes

El método isnull() se puede combinar con sum() para contar los valores faltantes de cada columna.

Ejemplo:

print(df.isnull().sum())

Eliminación de datos faltantes

Puede eliminar filas o columnas con datos faltantes mediante el método dropna().

Ejemplo:

df_cleaned = df.dropna()

Rellenado de datos faltantes

Utilice el método fillna() para reemplazar los valores faltantes por valores específicos, como la media o la mediana.

Ejemplo:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Relleno hacia adelante y hacia atrás

Rellene los valores faltantes con los valores anteriores o posteriores mediante method='ffill' o method='bfill'.

Ejemplo:

df['Age'] = df['Age'].fillna(method='ffill')

Elección de la técnica adecuada

Considere el conjunto de datos y los objetivos del análisis al tratar los datos faltantes:

• Use dropna() para las filas con muchos valores faltantes.
• Use fillna() con la media o la mediana para los datos numéricos.
• Use el relleno hacia adelante o hacia atrás para los datos de series temporales.

Resumen

En esta lección, ha aprendido a:

• Identificar valores faltantes mediante isnull().
• Contar los valores faltantes con sum().
• Tratar los datos faltantes eliminando o rellenando valores.
• Elegir la técnica adecuada según el conjunto de datos.

¡Enhorabuena!

Ha completado la lección sobre la gestión de datos faltantes. Continúe con la siguiente lección para aprender técnicas de normalización de datos.