pd.concat para apilar DataFrames

En los proyectos reales, los datos rara vez llegan en un único archivo. Puede tener archivos de ventas mensuales, exportaciones de encuestas regionales o resultados de consultas a bases de datos divididos en varias consultas. La concatenación apila estos DataFrames independientes en una sola tabla combinada. Pandas proporciona pd.concat() para este fin y permite apilar tanto verticalmente, por filas, como horizontalmente, por columnas.

El uso más habitual de pd.concat() consiste en apilar DataFrames verticalmente, es decir, añadir más filas. Pase una lista de DataFrames y la función los añadirá uno debajo de otro. Ambos DataFrames deben tener columnas compatibles para obtener un resultado limpio. Pandas los alinea automáticamente según los nombres de las columnas y rellena con NaN las columnas que falten.

Observe que pd.concat() conserva los índices originales de cada DataFrame, lo que puede producir valores de índice duplicados, como ocurre arriba con dos filas en el índice 0 y dos en el índice 1. Pase ignore_index=True para crear un índice entero secuencial nuevo en el resultado combinado, que es casi siempre lo que desea.

Al concatenar datos de varias fuentes, es posible que quiera saber de qué DataFrame original procede cada fila. Pase el parámetro keys con una lista de etiquetas. Pandas crea un MultiIndex cuyo nivel externo identifica la fuente. Después puede usar .loc['label'] para acceder a las filas de una fuente específica.

Pase axis=1 para concatenar DataFrames uno al lado del otro, es decir, añadir más columnas. Pandas los alinea según el índice de las filas, por lo que ambos DataFrames deberían tener el mismo índice para obtener un resultado limpio. Si los índices difieren, las filas que no coincidan se rellenarán con NaN. Esto resulta útil para combinar características calculadas a partir del mismo conjunto de datos en pasos separados.

Si los DataFrames que se van a concatenar tienen columnas diferentes, Pandas conserva todas las columnas y rellena con NaN los valores que falten. Este es el comportamiento predeterminado de join='outer'. Si quiere conservar únicamente las columnas que aparecen en todos los DataFrames, pase join='inner', que elimina cualquier columna que no esté presente en todas las fuentes.

Un patrón habitual al cargar varios archivos consiste en recopilar todos los DataFrames en una lista y llamar a pd.concat() una sola vez al final. Evite concatenar dentro de un bucle, por ejemplo, df = pd.concat([df, new_chunk]), porque esto crea una nueva copia del DataFrame en cada iteración y provoca una complejidad temporal cuadrática en colecciones grandes.

pd.concat() funciona tanto con Series como con DataFrames. Al concatenar verticalmente una lista de Series se obtiene una Series más larga. Concatenar con axis=1 produce un DataFrame en el que cada Series se convierte en una columna. Las Series se alinean según su índice, por lo que las etiquetas del índice deben coincidir para obtener una concatenación horizontal limpia.

Después de concatenar, verifique siempre que el resultado tenga la forma esperada y que no contenga valores NaN inesperados. Un patrón rápido de comprobación consiste en comparar el número de filas combinadas con la suma de los recuentos individuales y llamar a isna().sum() para detectar valores ausentes no deseados introducidos por una desalineación de columnas. Estas comprobaciones evitan que problemas silenciosos de calidad de datos se propaguen al análisis.

El código antiguo de Pandas puede usar df.append(other), que era un envoltorio práctico de pd.concat(). Este método quedó obsoleto en Pandas 1.4 y se eliminó en Pandas 2.0. En el código moderno, use siempre pd.concat([df, other], ignore_index=True). El comportamiento es idéntico, pero pd.concat es más explícito y permite concatenar más de dos DataFrames a la vez.

Este es un patrón realista: cargar DataFrames mensuales, añadir una etiqueta de origen, concatenarlos y calcular un resumen de todo el año. El parámetro keys facilita rastrear cada fila hasta su mes, y la combinación de ignore_index=True con una columna del mes proporciona un DataFrame plano y limpio para realizar análisis mediante agrupaciones.

Compruebe cuánto ha entendido de pd.concat para apilar DataFrames en esta lección.

En esta lección ha aprendido a apilar DataFrames verticalmente con pd.concat() e ignore_index=True, a realizar el seguimiento de las fuentes mediante el parámetro keys y a entender cómo join='inner' frente a 'outer' controla el tratamiento de las columnas cuando los esquemas difieren. A continuación exploraremos pd.merge() para realizar joins internos y externos al estilo de SQL sobre columnas de clave compartidas.