Preparación de datos para IA

Imagine que está preparando una comida deliciosa. No usaría ingredientes podridos, ¿verdad?

¡Con la IA ocurre lo mismo! La preparación de datos es el proceso de limpiar y transformar datos sin procesar en un formato limpio y utilizable para los modelos de IA.

Es un paso fundamental, porque la calidad de sus datos influye directamente en el rendimiento y la precisión de su IA.

Los datos sin procesar rara vez se presentan en un estado perfecto. A menudo contienen problemas que pueden inducir a error a los modelos de IA.

• Valores faltantes: Espacios donde debería haber datos.
• Inconsistencias: Distintos formatos para la misma información.
• Duplicados: Entradas repetidas.
• Valores atípicos: Valores extremos que pueden distorsionar los resultados.

Identificar estos problemas es el primer paso.

Los valores faltantes pueden provocar errores o resultados sesgados. Estas son algunas estrategias habituales:

• Eliminación: Elimine las filas o columnas con demasiados datos faltantes (¡úselo con precaución!).
• Imputación: Rellene los valores faltantes. Puede utilizar la media, la mediana o la moda de la columna.
• Predicción: Utilice otras características para predecir y completar los valores faltantes (un método más avanzado).

El mejor método depende de sus datos y de la tarea de IA.

Las entradas duplicadas indican que la misma información se ha registrado varias veces. Esto puede inflar su conjunto de datos y sesgar el modelo.

Por ejemplo, que un cliente aparezca dos veces en una lista de «nuevos registros».

La solución es sencilla: identifique y elimine esas filas redundantes. La mayoría de las herramientas de datos incluyen funciones integradas para hacerlo.

Las inconsistencias aparecen cuando los mismos datos se representan de forma diferente. Piense en «USA», «U.S.A.» y «United States»: todos significan el mismo país.

Esto también se aplica a los formatos de fecha (por ejemplo, «10/01/2023» frente a «Jan 10, 2023») o a las unidades (por ejemplo, «kg» frente a «lbs»).

Estandarizarlos garantiza que el modelo de IA los interprete correctamente.

Algunos algoritmos de IA, como K-Nearest Neighbors, son sensibles a la escala de las características numéricas. Una característica con valores de 1 a 1000 podría dominar a otra con valores de 0 a 1.

• Normalización: Escala los valores a un rango fijo, normalmente de 0 a 1.
• Estandarización: Transforma los datos para que tengan una media de 0 y una desviación estándar de 1.

Esto ayuda a evitar que las características con valores más altos influyan de forma desproporcionada en el modelo.

Los modelos de IA funcionan mejor con números. Los datos categóricos (como «Red», «Green», «Blue» o «Small», «Medium», «Large») deben convertirse.

• Codificación one-hot: Crea nuevas columnas binarias (0 o 1) para cada categoría. Por ejemplo, «Color_Red» y «Color_Green».
• Codificación de etiquetas: Asigna un entero único a cada categoría. Por ejemplo, Red=0, Green=1 y Blue=2. Úsela con cuidado, ya que implica un orden.

A veces, las funcionalidades sin procesar no son suficientes. La ingeniería de características consiste en crear nuevas características a partir de las existentes para mejorar el rendimiento del modelo.

Ejemplos:

• Combinar «height» y «weight» para crear «BMI».
• Extraer el «month» o el «day of week» de una columna «date».
• Crear un «age group» a partir de una columna «age».

Esto ayuda al modelo a encontrar patrones con mayor facilidad.

Antes de entrenar su modelo de IA, debe dividir los datos preparados en distintos conjuntos:

• Conjunto de entrenamiento: Se utiliza para enseñar al modelo.
• Conjunto de validación: Se utiliza para ajustar los hiperparámetros del modelo y evitar el sobreajuste durante el desarrollo.
• Conjunto de prueba: Un conjunto de datos completamente desconocido que se utiliza para la evaluación final del rendimiento del modelo.

Esto garantiza que su modelo generalice correctamente con datos nuevos del mundo real.

Ha aprendido sobre varios pasos de preparación de datos. Ahora, compruebe cuánto ha comprendido.

¡Excelente trabajo! En esta lección, hemos explorado el proceso fundamental de la preparación de datos.

Ha aprendido sobre:

• La limpieza de datos (valores ausentes, duplicados e incoherencias).
• La transformación de datos (escalado de características y codificación de datos categóricos).
• Los fundamentos de la ingeniería de características.
• La importancia de dividir los datos para evaluar el modelo.

Los datos de alta calidad son la base de una IA eficaz. ¡Siga practicando estas habilidades!