Como lidar com dados ausentes

Dados ausentes são comuns em conjuntos de dados e podem afetar a análise e o desempenho do modelo. Nesta lição, você explorará técnicas para identificar e tratar valores ausentes de forma eficaz.

Como identificar dados ausentes

Você pode identificar dados ausentes em Python usando o Pandas. O método isnull() detecta valores ausentes em um conjunto de dados.

Exemplo:

import pandas as pd data = {'Age': [25, None, 30], 'Name': ['Alice', 'Bob', None]} df = pd.DataFrame(data) print(df.isnull())

Como contar valores ausentes

O método isnull() pode ser combinado com sum() para contar valores ausentes em cada coluna.

Exemplo:

print(df.isnull().sum())

Como remover dados ausentes

Você pode remover linhas ou colunas com dados ausentes usando o método dropna().

Exemplo:

df_cleaned = df.dropna()

Como preencher dados ausentes

Use o método fillna() para substituir valores ausentes por valores específicos, como a média ou a mediana.

Exemplo:

df['Age'] = df['Age'].fillna(df['Age'].mean())

Preenchimento para frente e para trás

Preencha os valores ausentes usando os valores anteriores ou posteriores a eles com method='ffill' ou method='bfill'.

Exemplo:

df['Age'] = df['Age'].fillna(method='ffill')

Como escolher a técnica adequada

Considere o conjunto de dados e os objetivos da análise ao lidar com dados ausentes:

• Use dropna() para linhas com muitos valores ausentes.
• Use fillna() com a média ou a mediana para dados numéricos.
• Use o preenchimento para frente ou para trás para dados de séries temporais.

Recapitulação

Nesta lição, você aprendeu a:

• Identificar valores ausentes usando isnull().
• Contar valores ausentes com sum().
• Lidar com dados ausentes removendo ou preenchendo valores.
• Escolher a técnica adequada com base no seu conjunto de dados.

Parabéns!

Você concluiu a lição sobre como lidar com dados ausentes. Continue para a próxima lição para aprender sobre técnicas de normalização de dados.