pd.merge: junções internas e externas

Um join combina dois DataFrames comparando linhas com base em uma coluna-chave compartilhada — o mesmo conceito da cláusula JOIN do SQL. O Pandas implementa joins por meio de pd.merge(). Diferentemente de pd.concat(), que simplesmente empilha dados, pd.merge() alinha de forma inteligente as linhas de duas tabelas diferentes com base em valores correspondentes em uma ou mais colunas.

Para que uma mesclagem funcione, ambos os DataFrames precisam ter pelo menos uma coluna com valores compartilhados — a coluna-chave. Por exemplo, uma tabela orders tem uma coluna customer_id, e uma tabela customers também tem uma coluna customer_id. Mesclar usando customer_id acrescenta os detalhes do cliente a cada linha de pedido. Especifique a chave com o parâmetro on quando ambos os DataFrames compartilharem o mesmo nome de coluna.

Um join interno (o padrão) mantém apenas as linhas cujo valor da chave existe em ambos os DataFrames. As linhas de qualquer uma das tabelas que não tiverem uma chave correspondente na outra tabela são descartadas silenciosamente. No exemplo dos pedidos, os clientes 103 e 104 não têm correspondência na outra tabela; por isso, suas linhas são excluídas do resultado do join interno.

Um join externo (how='outer') mantém todas as linhas de ambos os DataFrames. Quando uma linha não tem uma chave correspondente na outra tabela, as colunas ausentes são preenchidas com NaN. Isso é útil quando você deseja obter uma visão completa dos dois conjuntos de dados, preservando os registros que não encontraram correspondência.

Quando a coluna-chave tem um nome diferente em cada DataFrame, use left_on e right_on em vez de on. O Pandas compara as linhas em que left_on no DataFrame esquerdo é igual a right_on no DataFrame direito. Ambas as colunas-chave aparecem no resultado; você pode remover a redundante depois.

Para comparar linhas usando uma combinação de colunas (uma chave composta), passe uma lista para on. Isso é comum quando uma única coluna não é suficiente para uma correspondência exclusiva, como ao mesclar usando year e region. Todas as colunas listadas devem corresponder simultaneamente para que uma linha seja incluída no resultado.

Quando ambos os DataFrames têm uma coluna com o mesmo nome (exceto a chave), o Pandas acrescenta sufixos para diferenciá-las. Os padrões são _x (esquerda) e _y (direita). Você pode personalizá-los com o parâmetro suffixes para produzir nomes mais significativos e evitar confusão no resultado.

Um problema comum em uma mesclagem é a multiplicação inesperada de linhas. Se a coluna-chave tiver valores duplicados nos dois DataFrames, a mesclagem produzirá um produto cartesiano de todas as linhas correspondentes. Sempre verifique a quantidade de linhas após uma mesclagem: se for maior do que o esperado, investigue as duplicatas na coluna-chave com df.duplicated(subset=['key']).sum().

Passe o parâmetro validate para impor restrições de relacionamento na mesclagem e gerar um erro caso sejam violadas. 'one_to_one' exige chaves exclusivas em ambas as tabelas; 'one_to_many' exige chaves exclusivas apenas na tabela esquerda; e 'many_to_one', apenas na tabela direita. Essa é uma excelente prática de programação defensiva, pois identifica problemas de qualidade dos dados antecipadamente.

Passe indicator=True para adicionar uma coluna _merge ao resultado, indicando a origem de cada linha: 'left_only', 'right_only' ou 'both'. Isso é útil após um join externo para identificar quais registros encontraram correspondência e quais não encontraram, ajudando você a auditar a qualidade dos dados antes de remover a coluna indicadora.

Para resumir os dois tipos de join: o join interno fornece a interseção — apenas as linhas com chaves correspondentes em ambos os DataFrames. O join externo fornece a união — todas as linhas dos dois DataFrames, com NaN onde não houver correspondência. Para completar: o join à esquerda preserva todas as linhas do DataFrame esquerdo, e o join à direita preserva todas as linhas do DataFrame direito. Esses tipos serão abordados na próxima lição.

Nesta lição, você aprendeu: pd.merge() com how='inner' mantém apenas as linhas correspondentes de ambos os DataFrames, enquanto how='outer' mantém todas as linhas, usando NaN para as que não têm correspondência; on especifica a chave compartilhada, enquanto left_on/right_on tratam nomes de colunas diferentes; e o parâmetro indicator ajuda a auditar quais linhas encontraram correspondência. Em seguida, exploraremos os joins à esquerda e à direita para preservar todas as linhas de um dos lados.