Normalização de dados

A normalização de dados garante que todas as características de um conjunto de dados tenham escalas semelhantes. Isso é crucial para algoritmos como a descida do gradiente e modelos baseados em distância. Nesta lição, exploraremos técnicas de padronização e escalonamento.

Por que normalizar os dados?

A normalização garante que todas as características contribuam igualmente para o modelo. Sem normalização, características com escalas maiores podem dominar o processo de aprendizado.

Exemplo:

• A idade (0-100) e a renda (0-100.000) devem ser escalonadas para intervalos comparáveis.

Padronização

A padronização transforma os dados para que tenham média 0 e desvio padrão 1. Ela é calculada assim:

z = (x - mean) / std_dev

A padronização é ideal para algoritmos como regressão logística e SVM.

Escalonamento mínimo-máximo

O escalonamento mínimo-máximo ajusta os dados a um intervalo fixo, normalmente [0, 1]. Ele é calculado assim:

x_scaled = (x - min) / (max - min)

Essa técnica é usada quando os dados precisam estar limitados a um intervalo.

Normalização em Python (padronização)

Use StandardScaler de sklearn.preprocessing para padronizar os dados.

Exemplo:

from sklearn.preprocessing import StandardScaler scaler = StandardScaler() data_scaled = scaler.fit_transform(data)

Normalização em Python (escalonamento mínimo-máximo)

Use MinMaxScaler de sklearn.preprocessing para aplicar o escalonamento mínimo-máximo.

Exemplo:

from sklearn.preprocessing import MinMaxScaler scaler = MinMaxScaler() data_scaled = scaler.fit_transform(data)

Escolha de uma técnica de normalização

Ao selecionar uma técnica, considere o seguinte:

• Padronização: Use quando os dados contiverem valores discrepantes.
• Escalonamento mínimo-máximo: Use quando as características precisarem ser limitadas a um intervalo.

Recapitulação

Nesta lição, você aprendeu sobre:

• Padronização: ajustar os dados para uma média de 0 e um desvio padrão de 1.
• Escalonamento Min-Max: transformar os dados para um intervalo fixo.
• Usar StandardScaler e MinMaxScaler em Python.

Parabéns!

Você concluiu a lição sobre normalização de dados. Continue na próxima lição para aprender sobre mesclagem de dados em Python.