Fazendo junções pelo índice

Até agora, você mesclou DataFrames comparando valores em colunas comuns. Porém, às vezes, a informação que você deseja usar na comparação é armazenada no índice do DataFrame, e não em uma coluna. O Pandas oferece suporte a joins baseados em índice por meio de DataFrame.join() e de pd.merge() com os parâmetros left_index=True ou right_index=True.

DataFrame.join(other) é um método auxiliar que, por padrão, faz o join usando o índice de ambos os DataFrames. Ele equivale a uma chamada de pd.merge() com left_index=True, right_index=True. O tipo de join padrão é 'left', diferentemente de pd.merge(), cujo padrão é 'inner'. Ambos os DataFrames precisam compartilhar rótulos de índice significativos para que o join produza resultados corretos.

Passe o parâmetro how para join() para controlar quais linhas serão preservadas, assim como em pd.merge(). As opções são 'left' (padrão), 'right', 'inner' e 'outer'. Por exemplo, how='inner' mantém apenas os índices que aparecem em ambos os DataFrames, removendo a linha de alice caso ela não tenha um índice correspondente na tabela da direita.

Uma grande vantagem de join() em relação a pd.merge() é que ele aceita uma lista de DataFrames, unindo todos eles ao DataFrame que faz a chamada em uma única operação. Todos os DataFrames devem estar alinhados pelos índices. Isso é muito conveniente quando você tem várias tabelas de atributos indexadas pela mesma chave, como o ID do usuário ou a data, e quer reuni-las em um único DataFrame amplo.

pd.merge() permite combinar correspondências baseadas em colunas e em índices com left_on/right_index ou left_index/right_on. Isso é útil quando um DataFrame armazena a chave em uma coluna, mas o outro a utiliza como índice. Não é possível obter esse resultado usando apenas join().

Quando ambos os DataFrames têm a chave como índice, use pd.merge(left, right, left_index=True, right_index=True). Isso equivale a join(), mas com o tipo de junção padrão 'inner' e parâmetros mais explícitos. Você também passa a ter acesso a todos os outros parâmetros de pd.merge(), como suffixes e indicator.

As junções baseadas em índices são preferíveis quando seus DataFrames são naturalmente indexados por um identificador significativo, como o ID de um usuário, o SKU de um produto ou uma data. Usar o índice nas junções evita sobrecarregar o DataFrame com colunas de chave redundantes e pode ser mais rápido, pois o Pandas mantém estruturas de índice ordenadas para buscas O(log n). Elas são especialmente comuns em dados de séries temporais, nos quais o DatetimeIndex é a chave natural da junção.

Quando ambos os DataFrames têm colunas com o mesmo nome (exceto a chave), join() gera um ValueError por padrão, a menos que você forneça os parâmetros lsuffix e rsuffix. Esses parâmetros funcionam como suffixes em pd.merge(), acrescentando uma string aos nomes das colunas sobrepostas dos DataFrames da esquerda e da direita, respectivamente.

Um fluxo de trabalho comum é definir uma coluna como índice antes da junção, para que você possa usar a sintaxe de join(). Depois da junção, reset_index() traz a chave de volta como uma coluna comum. Esse padrão é intuitivo: promover a chave a índice, fazer a junção e rebaixar a chave de volta, deixando clara a intenção para quem ler seu código no futuro.

Uma Series também tem um índice, e você pode adicioná-la como uma nova coluna a um DataFrame usando uma atribuição — o Pandas alinha automaticamente os valores da Series aos rótulos de índice correspondentes. Essa é uma forma leve de junção baseada em índice, útil quando você quer adicionar uma única coluna de uma Series sem chamar merge() ou join().

Fazer uma junção usando um índice ordenado é mais rápido do que fazê-la usando uma coluna comum, pois o Pandas utiliza uma busca binária no índice ordenado. Se você fizer várias junções usando a mesma chave, defina essa chave como índice uma única vez, no início do seu fluxo de processamento. Isso é especialmente importante em fluxos de trabalho com séries temporais, nos quais você faz junções por um DatetimeIndex milhares de vezes em muitos arquivos.

Teste sua compreensão sobre junções baseadas em índices nesta lição.

Nesta lição, você aprendeu que: DataFrame.join() faz a junção pelo índice por padrão, usando uma junção à esquerda; pd.merge() com left_index=True/right_index=True oferece mais controle; é possível unir vários DataFrames de uma só vez passando uma lista para join(); e usar um índice ordenado melhora o desempenho da junção. A seguir, exploraremos como remodelar DataFrames com pivot_table.