pd.merge: joins internos y externos

Un join combina dos DataFrames haciendo coincidir las filas según una columna de clave compartida, el mismo concepto que la cláusula JOIN de SQL. Pandas implementa los joins mediante pd.merge(). A diferencia de pd.concat(), que simplemente apila los datos, pd.merge() alinea de forma inteligente las filas de dos tablas diferentes según los valores coincidentes de una o más columnas.

Para que una combinación funcione, ambos DataFrames deben tener al menos una columna con valores compartidos: la columna clave. Por ejemplo, una tabla orders tiene una columna customer_id, y una tabla customers también tiene una columna customer_id. Al combinar por customer_id, se añaden los detalles del cliente a cada fila de pedidos. Especifique la clave con el parámetro on cuando ambos DataFrames compartan el mismo nombre de columna.

Una combinación interna (la opción predeterminada) conserva únicamente las filas cuyo valor clave existe en ambos DataFrames. Las filas de cualquiera de las tablas cuya clave no tenga correspondencia en la otra se descartan silenciosamente. En el ejemplo de los pedidos, los clientes 103 y 104 no tienen correspondencia en la otra tabla, por lo que sus filas se excluyen del resultado de la combinación interna.

Una combinación externa (how='outer') conserva todas las filas de ambos DataFrames. Cuando una fila no tiene una clave correspondiente en la otra tabla, las columnas que faltan se rellenan con NaN. Esto resulta útil cuando desea obtener una visión completa de ambos conjuntos de datos y conservar los registros que no encontraron correspondencia.

Cuando la columna clave tiene un nombre diferente en cada DataFrame, use left_on y right_on en lugar de on. Pandas hace coincidir las filas en las que left_on del DataFrame izquierdo es igual a right_on del DataFrame derecho. Ambas columnas clave aparecen en el resultado; después puede eliminar la redundante.

Para hacer coincidir filas mediante una combinación de columnas (una clave compuesta), pase una lista a on. Esto es habitual cuando una sola columna no basta para obtener una coincidencia única, como al combinar por year y region. Todas las columnas indicadas deben coincidir simultáneamente para que una fila se incluya en el resultado.

Cuando ambos DataFrames tienen una columna con el mismo nombre (distinta de la clave), Pandas añade sufijos para diferenciarlas. Los valores predeterminados son _x (izquierda) y _y (derecha). Puede personalizarlos con el parámetro suffixes para obtener nombres más descriptivos y evitar confusiones en el resultado.

Un problema habitual al combinar es la multiplicación inesperada de filas. Si la columna clave contiene valores duplicados en ambos DataFrames, la combinación produce un producto cartesiano de todas las filas coincidentes. Compruebe siempre el número de filas después de una combinación: si es mayor de lo esperado, investigue los duplicados de la columna clave con df.duplicated(subset=['key']).sum().

Pase el parámetro validate para imponer restricciones de relación en la combinación y generar un error si se infringen. 'one_to_one' requiere claves únicas en ambas tablas, 'one_to_many' requiere claves únicas solo en la tabla izquierda y 'many_to_one' solo en la derecha. Se trata de una excelente práctica de programación defensiva que detecta pronto los problemas de calidad de los datos.

Pase indicator=True para añadir una columna _merge al resultado que indique de dónde procede cada fila: 'left_only', 'right_only' o 'both'. Esto resulta útil después de una combinación externa para identificar qué registros encontraron una correspondencia y cuáles no, y le ayuda a auditar la calidad de los datos antes de eliminar la columna indicadora.

En resumen, los dos tipos de combinación funcionan así: la combinación interna proporciona la intersección, es decir, solo las filas con claves coincidentes en ambos DataFrames. La combinación externa proporciona la unión, es decir, todas las filas de ambos DataFrames, con NaN cuando no hay correspondencia. Para completar el resumen: la combinación izquierda conserva todas las filas del DataFrame izquierdo y la combinación derecha conserva todas las filas del DataFrame derecho. Estos conceptos se explican en la siguiente lección.

Compruebe lo que ha aprendido sobre las combinaciones internas y externas de pd.merge en esta lección.

En esta lección ha aprendido que pd.merge() con how='inner' conserva únicamente las filas coincidentes de ambos DataFrames, mientras que how='outer' conserva todas las filas y usa NaN para las que no coinciden; on especifica la clave compartida, mientras que left_on/right_on gestionan nombres de columna diferentes; y el parámetro indicator ayuda a auditar qué filas coincidieron. A continuación, exploraremos las combinaciones izquierdas y derechas para conservar todas las filas de uno de los lados.