Tratamento de Dados Ausentes

Dados ausentes são comuns em conjuntos de dados e podem afetar a análise e o desempenho do modelo. Nesta lição, exploraremos técnicas para identificar e tratar valores ausentes de forma eficaz.

Identificação de dados ausentes

Você pode identificar dados ausentes em Python usando Pandas. O método isnull() detecta valores ausentes em um conjunto de dados.

Exemplo:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Contagem de valores ausentes

O método isnull() pode ser combinado com sum() para contar os valores ausentes em cada coluna.

Exemplo:

print(df.isnull().sum())

Remoção de Dados Ausentes

Você pode remover linhas ou colunas com dados ausentes usando o método dropna().

Exemplo:

df_cleaned = df.dropna()

Preenchimento de dados ausentes

Use o método fillna() para substituir valores ausentes por valores específicos, como uma média ou mediana.

Exemplo:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Preenchimento para Frente e para Trás

Preencha os valores ausentes usando os valores anteriores ou posteriores a eles com method='ffill' ou method='bfill'.

Exemplo:

df['Age'] = df['Age'].fillna(method='ffill')

Escolha da Técnica Adequada

Considere o conjunto de dados e os objetivos da análise ao tratar dados ausentes:

• Use dropna() para linhas com muitos valores ausentes.
• Use fillna() com a média ou a mediana para dados numéricos.
• Use o preenchimento para frente ou para trás para dados de séries temporais.

Revisão

Nesta lição, você aprendeu a:

• Identificar valores ausentes usando isnull().
• Contar valores ausentes com sum().
• Tratar dados ausentes removendo ou preenchendo valores.
• Escolher a técnica adequada com base no seu conjunto de dados.

Parabéns!

Você concluiu a lição sobre o tratamento de dados ausentes. Continue na próxima lição para aprender sobre técnicas de normalização de dados.