Alinhamento e reindexação de índices

Um dos comportamentos mais poderosos — e às vezes surpreendentes — do Pandas é o alinhamento automático de índices. Quando você soma, subtrai ou combina de outra forma duas Series ou dois DataFrames, o Pandas primeiro os alinha pelos rótulos dos índices antes de realizar a operação. As operações são feitas sobre os rótulos correspondentes; rótulos sem correspondência produzem NaN. Isso evita erros silenciosos causados por dados desalinhados e permite combinar com segurança dados de fontes diferentes sem precisar ordená-los ou reorganizá-los manualmente antes.

Quando os rótulos dos índices não correspondem, o Pandas preenche as entradas ausentes com NaN. Isso é intencional: sinaliza que “não havia um valor correspondente em um dos operandos”. Sempre examine o resultado da aritmética entre duas Series ou dois DataFrames para detectar valores NaN inesperados — eles indicam que os índices estão desalinhados. Use fill_value=0 no método aritmético (s1.add(s2, fill_value=0)) para tratar valores alinhados ausentes como zero, em vez de propagar NaN.

O alinhamento se aplica tanto às linhas quanto às colunas ao combinar dois DataFrames. O resultado tem a união dos dois conjuntos de índices e dos dois conjuntos de colunas, com NaN onde qualquer um dos DataFrames não tinha um valor. Isso equivale a uma junção externa completa em índices e colunas simultaneamente. Assim, você pode somar com segurança DataFrames de períodos fiscais diferentes — os meses existentes em um, mas não no outro, recebem NaN, que você pode então preencher ou remover.

df.reindex(new_index) retorna um novo DataFrame adaptado à lista de rótulos new_index. Os rótulos existentes tanto no índice original quanto no novo são preservados; os rótulos presentes em new_index, mas ausentes no original, recebem NaN; os rótulos presentes no original, mas ausentes em new_index, são removidos. Essa é a maneira explícita de alinhar um DataFrame a um conjunto de rótulos de destino antes de realizar operações.

reindex() aceita um parâmetro fill_value para substituir novos rótulos por uma constante e um parâmetro method para preenchimento para frente ('ffill') ou para trás ('bfill'). Esses métodos de preenchimento são mais úteis para dados de séries temporais, quando você reindexa uma Series para um intervalo completo de datas e quer preencher os dias ausentes com o último valor conhecido, em vez de NaN.

reindex também funciona em colunas: df.reindex(columns=['col1', 'col2', 'new_col']). As novas colunas que não existem no DataFrame original são adicionadas com NaN. As colunas existentes que não estão na nova lista são removidas. Isso é útil para impor um esquema canônico de colunas em vários DataFrames provenientes de fontes diferentes e que podem ter conjuntos de colunas inconsistentes.

s1.align(s2) retorna dois novos objetos com o mesmo índice (união ou interseção, conforme o parâmetro join), deixando-os prontos para operações elemento a elemento. Isso equivale a reindexar os dois objetos simultaneamente para o mesmo conjunto de rótulos. Use join='inner' para manter apenas os rótulos comuns ou join='outer' (padrão) para manter todos os rótulos de ambos, usando NaN para as incompatibilidades.

O Pandas oferece duas filosofias para combinar DataFrames: merge/join (no estilo SQL, com correspondência explícita de chaves) e aritmética com alinhamento de índices (implícita, baseada em rótulos). Use merge ao combinar tabelas estruturadas com colunas de chaves explícitas. Use o alinhamento aritmético ao realizar cálculos entre DataFrames que naturalmente devem compartilhar um índice — por exemplo, ao subtrair um DataFrame de custos de um DataFrame de receitas, ambos indexados por (região, mês).

Antes de realizar operações em dois DataFrames, verifique se os índices correspondem usando (df1.index == df2.index).all(). Se os índices diferirem apenas na ordem, ordene ambos antes de compará-los. Para DataFrames carregados de fontes diferentes, é uma boa prática alinhá-los ou reindexá-los explicitamente antes da aritmética, para evitar a propagação acidental de NaN. Documente quaisquer pressupostos de alinhamento nos comentários ou nos registros do fluxo de trabalho.

Um padrão comum ao carregar dados de vários arquivos ou chamadas de API é que cada lote abranja um subconjunto diferente de chaves. Antes de concatenar ou agregar, reindexe todos os lotes para o espaço completo de chaves conhecido usando fill_value=0. Isso garante que todos os lotes tenham o mesmo formato (o mesmo índice e as mesmas colunas) antes das operações, evitando incompatibilidades silenciosas de formato que causam resultados agregados incorretos.

Dois casos extremos importantes: Rótulos duplicados — se ambas as Series tiverem rótulos de índice duplicados, o alinhamento produzirá uma expansão semelhante a um produto cartesiano, com muitos valores NaN (o Pandas não presume quais duplicatas correspondem umas às outras). Garanta sempre que os índices sejam exclusivos antes do alinhamento aritmético. Índices inteiros versus índices de objetos — um RangeIndex(0,5) e um Int64Index([0,1,2,3,4]) podem não se alinhar perfeitamente após operações, pois um é inferido e o outro é explícito. Use reset_index(drop=True) para normalizar.

Teste sua compreensão sobre alinhamento e reindexação de índices nesta lição.

Nesta lição, você aprendeu que o Pandas realiza alinhamento automático de índices em operações aritméticas, produzindo NaN para rótulos sem correspondência; reindex() adapta um DataFrame a um conjunto de rótulos de destino, com opções de preenchimento para rótulos ausentes; e align() sincroniza dois objetos para o mesmo índice simultaneamente. A seguir, exploraremos os benefícios de desempenho dos índices ordenados e como medi-los com timeit.