Interpolação e imputação avançada

O preenchimento para frente e o preenchimento para trás transportam o valor conhecido mais próximo sem considerar a tendência dos dados. A interpolação estima valores ausentes supondo uma transição suave entre valores conhecidos — por exemplo, se a temperatura era de 20 °C na segunda-feira e 30 °C na sexta-feira, a interpolação estima 25 °C para quarta-feira. Isso produz imputações mais realistas para sinais que mudam suavemente, como dados de sensores, preços ou contagens populacionais.

O Pandas interpolate() oferece suporte a vários métodos. Os mais comuns são 'linear' (igualmente espaçado entre os valores conhecidos), 'time' (considera intervalos de tempo desiguais quando um DatetimeIndex é definido), 'polynomial' (ajusta uma curva polinomial e exige um argumento order) e 'spline' (polinômio suave definido por partes). Linear é o padrão mais seguro; métodos de ordem superior podem causar sobreajuste em lacunas pequenas.

Quando sua Series tem um DatetimeIndex com intervalos de tempo desiguais (por exemplo, apenas dias úteis, sem fins de semana), method='time' interpola proporcionalmente ao tempo realmente decorrido, e não apenas pela posição. Isso é mais preciso do que a interpolação linear, que trata cada linha como igualmente espaçada, independentemente da lacuna no calendário.

Assim como ffill(), interpolate() aceita um parâmetro limit para restringir quantas posições NaN consecutivas serão preenchidas. Os NaN restantes além do limite continuam ausentes. Isso impede que a interpolação atravesse lacunas muito longas, nas quais o valor verdadeiro poderia ser qualquer um — lacunas longas devem ser sinalizadas para análise manual.

A imputação pela média e pela mediana é simples, mas envolve compromissos importantes. A mean é sensível a valores discrepantes — alguns valores muito grandes a elevam, tornando-a um preenchimento inadequado para uma distribuição assimétrica à direita, como renda ou preços de imóveis. A median é resistente a valores discrepantes e é a melhor escolha para colunas assimétricas. Use a média apenas quando seus dados forem aproximadamente simétricos e não tiverem valores discrepantes extremos.

A imputação por K-Vizinhos Mais Próximos (KNN) substitui um valor ausente pela média (ou média ponderada) das k linhas mais semelhantes, medida pela distância entre as características não ausentes. Essa é uma estratégia multivariada — ela usa informações de outras colunas para orientar o preenchimento, o que é mais preciso do que a imputação pela média de uma única coluna quando as características são correlacionadas.

O KNNImputer do Scikit-learn integra-se diretamente a matrizes NumPy e DataFrames do Pandas.

A imputação múltipla é considerada o padrão-ouro para lidar com dados ausentes em pesquisas estatísticas. O IterativeImputer do Scikit-learn implementa uma abordagem MICE (Imputação Múltipla por Equações Encadeadas): ele modela cada coluna com valores ausentes como uma função das outras colunas, repetindo a imputação até que os valores convirjam. Isso capta melhor as relações entre características do que estratégias de uma única coluna.

Em vez de ocultar o fato de que um valor foi imputado, é uma boa prática adicionar uma coluna indicadora binária que sinalize quais linhas tinham valores ausentes antes da imputação. Isso permite que os modelos posteriores aprendam com o próprio padrão de ausência — às vezes, o fato de um valor estar ausente é tão preditivo quanto o próprio valor.

Uma regra crítica nos fluxos de trabalho de aprendizado de máquina: calcule as estatísticas de imputação (média, mediana, moda) apenas no conjunto de treinamento e depois aplique os mesmos valores ao conjunto de teste. Calcular estatísticas no conjunto de dados completo antes da divisão causa vazamento de dados — o modelo vê indiretamente os dados de teste durante o treinamento, inflando as estimativas de desempenho. Sempre ajuste os imputadores aos dados de treinamento e transforme tanto os dados de treinamento quanto os de teste.

Depois de aplicar vários métodos de imputação, compare o efeito representando graficamente a distribuição das colunas original e imputada lado a lado. Uma boa imputação deve preservar, da forma mais próxima possível, o formato (média, variância e assimetria) da distribuição original. A imputação pela média estreita a distribuição; KNN e MICE tendem a preservá-la melhor.

Não existe uma estratégia de imputação universalmente melhor — a escolha certa depende do contexto. Use mean/median para casos univariados simples com poucos valores ausentes. Use ffill/bfill para séries temporais com tendências estáveis. Use KNN ou IterativeImputer quando as características forem correlacionadas e você quiser aproveitar essas relações. Use constantes do domínio (por exemplo, 0 para ausente, -1 para desconhecido) quando o valor ausente tiver um significado claro para o negócio. Sempre documente sua escolha.

Teste sua compreensão sobre interpolação e imputação avançada.

Nesta lição, você aprendeu que: interpolate() estima valores ausentes supondo uma tendência suave entre valores conhecidos, method='time' lida com intervalos desiguais em DatetimeIndex e estratégias avançadas, como KNNImputer e IterativeImputer, usam outras colunas para orientar os preenchimentos. Sempre adicione colunas indicadoras antes da imputação e ajuste as estatísticas apenas no conjunto de treinamento para evitar vazamento de dados. A seguir, examinaremos e converteremos os tipos de dados das colunas do DataFrame.