pd.concat para empilhar DataFrames

Em projetos reais, os dados raramente chegam em um único arquivo. O senhor pode ter arquivos de vendas mensais, exportações de pesquisas regionais ou resultados de consultas a um banco de dados divididos entre várias consultas. A concatenação empilha esses DataFrames separados em uma única tabela combinada. O Pandas fornece pd.concat() para essa finalidade, lidando tanto com o empilhamento vertical, por linhas, quanto com o horizontal, por colunas.

O uso mais comum de pd.concat() é empilhar DataFrames verticalmente, adicionando mais linhas. Passe uma lista de DataFrames, e a função os acrescentará um abaixo do outro. Ambos os DataFrames devem ter colunas compatíveis para produzir um resultado limpo. O Pandas alinha automaticamente os nomes das colunas, preenchendo as colunas ausentes com NaN.

Observe que pd.concat() preserva os índices originais de cada DataFrame, o que pode resultar em valores de índice duplicados, como no exemplo acima, com duas linhas no índice 0 e duas no índice 1. Passe ignore_index=True para criar um novo índice inteiro sequencial no resultado combinado, que é quase sempre o que o senhor deseja.

Ao concatenar dados de várias fontes, talvez o senhor queira saber de qual DataFrame original veio cada linha. Passe o parâmetro keys com uma lista de rótulos. O Pandas cria um MultiIndex cujo nível externo identifica a fonte. Em seguida, o senhor pode usar .loc['label'] para acessar as linhas de uma fonte específica.

Passe axis=1 para concatenar DataFrames lado a lado, adicionando mais colunas. O Pandas os alinha pelo índice das linhas, portanto ambos os DataFrames devem ter o mesmo índice para produzir um resultado limpo. Se os índices forem diferentes, as linhas sem correspondência serão preenchidas com NaN. Isso é útil para combinar atributos calculados a partir do mesmo conjunto de dados em etapas separadas.

Se os DataFrames que estão sendo concatenados tiverem colunas diferentes, o Pandas manterá todas as colunas e preencherá os valores ausentes com NaN. Esse é o comportamento padrão de join='outer'. Se o senhor quiser manter apenas as colunas presentes em todos os DataFrames, passe join='inner', que descarta qualquer coluna ausente em uma das fontes.

Um padrão típico ao carregar vários arquivos é reunir todos os DataFrames em uma lista e chamar pd.concat() uma única vez no final. Evite concatenar dentro de um laço, por exemplo, df = pd.concat([df, new_chunk]), porque isso cria uma nova cópia do DataFrame a cada iteração, levando a uma complexidade de tempo quadrática em coleções grandes.

pd.concat() funciona tanto com Series quanto com DataFrames. Concatenar verticalmente uma lista de Series produz uma Series mais longa. Concatenar com axis=1 produz um DataFrame em que cada Series se torna uma coluna. As Series são alinhadas pelo índice, portanto os rótulos do índice devem coincidir para uma concatenação horizontal limpa.

Depois de concatenar, verifique sempre se o resultado tem o formato esperado e se não contém valores NaN inesperados. Um padrão rápido de verificação de consistência é comparar a quantidade de linhas combinada com a soma das quantidades individuais e chamar isna().sum() para identificar valores ausentes introduzidos involuntariamente pelo desalinhamento das colunas. Essas verificações evitam que problemas silenciosos de qualidade dos dados se propaguem para a sua análise.

Códigos antigos do Pandas podem usar df.append(other), que era um invólucro conveniente para pd.concat(). Esse método foi descontinuado no Pandas 1.4 e removido no Pandas 2.0. Em códigos modernos, use sempre pd.concat([df, other], ignore_index=True). O comportamento é idêntico, mas pd.concat é mais explícito e permite concatenar mais de dois DataFrames de uma só vez.

Veja um padrão realista: carregar DataFrames mensais, adicionar um rótulo de origem, concatená-los e calcular um resumo do ano inteiro. O parâmetro keys facilita rastrear cada linha até seu mês, e ignore_index=True, combinado com uma coluna de mês, produz um DataFrame plano e organizado para análises por grupo.

Nesta lição, você aprendeu: como empilhar DataFrames verticalmente com pd.concat() e ignore_index=True; como rastrear as origens usando o parâmetro keys; e como join='inner' vs 'outer' controla o tratamento das colunas quando os esquemas são diferentes. Em seguida, exploraremos pd.merge() para realizar joins internos e externos no estilo SQL usando colunas-chave compartilhadas.