Preparação de dados para IA

Imagine que você está preparando uma refeição deliciosa. Você não usaria ingredientes estragados, certo?

O mesmo vale para a IA! A preparação de dados é o processo de limpar e transformar dados brutos em um formato limpo e utilizável pelos modelos de IA.

Essa é uma etapa fundamental, pois a qualidade dos seus dados afeta diretamente o desempenho e a precisão da sua IA.

Os dados brutos raramente estão em um estado perfeito. Eles geralmente apresentam problemas que podem induzir os modelos de IA ao erro.

• Valores ausentes: lacunas onde deveria haver dados.
• Inconsistências: formatos diferentes para a mesma informação.
• Duplicatas: registros repetidos.
• Valores atípicos: valores extremos que podem distorcer os resultados.

Identificar esses problemas é o primeiro passo.

Valores ausentes podem causar erros ou resultados tendenciosos. Estas são algumas estratégias comuns:

• Exclusão: remova linhas ou colunas com dados ausentes em excesso (use com cuidado!).
• Imputação: preencha os valores ausentes. Você pode usar a média, a mediana ou a moda da coluna.
• Predição: use outros atributos para prever e preencher os valores ausentes (uma abordagem mais avançada).

O melhor método depende dos seus dados e da tarefa de IA.

Registros duplicados significam que a mesma informação foi registrada várias vezes. Isso pode inflar seu conjunto de dados e gerar viés no seu modelo.

Por exemplo, um cliente que aparece duas vezes em uma lista de 'novos cadastros'.

A solução é simples: identifique e remova essas linhas redundantes. A maioria das ferramentas de dados tem funções integradas para isso.

Inconsistências ocorrem quando os mesmos dados são representados de maneiras diferentes. Pense em 'USA', 'U.S.A.' e 'Estados Unidos', que significam o mesmo país.

Isso também se aplica a formatos de data (por exemplo, '10/01/2023' e '10 de janeiro de 2023') ou unidades (por exemplo, 'kg' e 'lb').

Padronizar esses elementos garante que seu modelo de IA os interprete corretamente.

Alguns algoritmos de IA, como os k-vizinhos mais próximos, são sensíveis à escala dos atributos numéricos. Um atributo com valores de 1 a 1000 pode dominar outro com valores de 0 a 1.

• Normalização: redimensiona os valores para um intervalo fixo, geralmente de 0 a 1.
• Padronização: transforma os dados para que tenham média 0 e desvio padrão 1.

Isso ajuda a evitar que atributos com valores maiores influenciem o modelo de forma desproporcional.

Os modelos de IA funcionam melhor com números. Dados categóricos (como 'Vermelho', 'Verde', 'Azul' ou 'Pequeno', 'Médio', 'Grande') precisam ser convertidos.

• Codificação one-hot: cria novas colunas binárias (0 ou 1) para cada categoria. Por exemplo, 'Cor_Vermelho' e 'Cor_Verde'.
• Codificação de rótulos: atribui um número inteiro exclusivo a cada categoria. Por exemplo, Vermelho=0, Verde=1, Azul=2. Use com cuidado, pois isso implica uma ordem.

Às vezes, os recursos brutos não são suficientes. A engenharia de recursos é a prática de criar novos recursos a partir dos existentes para melhorar o desempenho do modelo.

Exemplos:

• Combinar "altura" e "peso" para criar o "BMI".
• Extrair o "mês" ou o "dia da semana" de uma coluna de "data".
• Criar um "grupo de idade" a partir de uma coluna de "idade".

Isso ajuda o modelo a encontrar padrões com mais facilidade.

Antes de treinar seu modelo de IA, você deve dividir os dados preparados em diferentes conjuntos:

• Conjunto de treinamento: usado para ensinar o modelo.
• Conjunto de validação: usado para ajustar os hiperparâmetros do modelo e evitar o sobreajuste durante o desenvolvimento.
• Conjunto de teste: um conjunto de dados completamente desconhecido, usado para a avaliação final do desempenho do modelo.

Isso garante que seu modelo generalize bem para dados novos do mundo real.

Você aprendeu sobre várias etapas de preparação de dados. Agora, vamos testar sua compreensão.

Excelente trabalho! Nesta lição, exploramos o processo essencial de preparação de dados.

Você aprendeu sobre:

• Limpeza de dados (valores ausentes, duplicatas e inconsistências).
• Transformação de dados (escalonamento de recursos e codificação de dados categóricos).
• Fundamentos da engenharia de recursos.
• A importância da divisão dos dados para a avaliação do modelo.

Dados de alta qualidade são a base de uma IA eficaz. Continue praticando essas habilidades!