Combinando e limpando colunas de texto

Uma tarefa comum de preparação de dados é criar uma única cadeia de caracteres combinando valores de várias colunas — por exemplo, criar um nome completo a partir do nome e do sobrenome ou um endereço a partir da rua, da cidade e do país. No Pandas, você concatena colunas de texto usando o operador + em duas Séries (ou em uma Série e uma cadeia literal), depois de converter as colunas numéricas em cadeias de caracteres com .astype(str).

Ao combinar uma coluna numérica com uma coluna de texto, você precisa primeiro converter a coluna numérica em cadeia de caracteres usando .astype(str). O operador + do Python gera um TypeError se você tentar somar uma Série de cadeias de caracteres e uma Série de inteiros. Essa é uma fonte comum de confusão ao criar chaves compostas ou rótulos a partir de colunas de tipos mistos.

Series.str.cat(others, sep=) é a forma nativa do Pandas de concatenar várias Series com um separador, tratando os valores NaN de forma adequada. Por padrão, um NaN em qualquer coluna faz com que o resultado dessa linha seja NaN. Passe na_rep='?' (ou qualquer string) para substituir NaN por um marcador em vez de propagá-lo.

As colunas de categorias do mundo real frequentemente têm rótulos inconsistentes causados por erros de digitação, variações de maiúsculas e minúsculas ou abreviações diferentes (por exemplo, 'US', 'USA', 'United States'). A correção padrão consiste em criar um dicionário de mapeamento que associe cada variante à forma canônica e, em seguida, aplicá-lo com .map() ou .replace().

Antes de comparar ou agrupar colunas de texto, sempre remova os espaços em branco e normalize maiúsculas e minúsculas como primeira etapa da limpeza. Dois valores que parecem iguais para uma pessoa (' Active' e 'active') são tratados como diferentes pelo Pandas devido ao espaço inicial e à diferença entre maiúsculas e minúsculas. Uma cadeia de duas etapas — primeiro strip e depois lower — detecta os dois problemas.

Quando erros de digitação impedem a correspondência exata, a correspondência aproximada calcula pontuações de similaridade entre strings. A biblioteca rapidfuzz (ou a clássica fuzzywuzzy) oferece correspondência aproximada vetorizada. Um fluxo de trabalho típico consiste em, para cada valor sujo e único, encontrar o valor canônico mais próximo acima de um limite de similaridade e criar um mapa de correções.

Às vezes, uma célula contém vários valores separados por um delimitador (por exemplo, 'python,sql,pandas'). Divida a coluna para obter listas e, em seguida, chame .explode() para criar uma linha por valor. Isso converte uma célula ampla e compactada em um formato longo e organizado, no qual cada linha tem exatamente um valor — algo necessário para operações de groupby e junção nesses valores.

Dados de texto de fontes diferentes podem apresentar problemas de codificação — caracteres incomuns, como \xa0 (espaço inseparável), \u2019 (apóstrofo curvo) ou caracteres acentuados corrompidos. Use .str.encode('ascii', errors='replace').str.decode('ascii') para uma limpeza rápida que retenha apenas ASCII, ou .str.normalize('NFKD') para decompor os acentos antes de removê-los.

Em muitos conjuntos de dados, é necessário criar uma chave composta a partir de várias colunas para identificar exclusivamente uma linha em junções ou na remoção de duplicatas. Combinar colunas de texto limpas (com espaços removidos, em minúsculas e normalizadas) em uma única string de chave garante correspondências consistentes entre fontes de dados nas quais a mesma entidade pode estar grafada de forma ligeiramente diferente.

Após a limpeza, valide se todos os valores de uma coluna de texto categórica pertencem a um conjunto canônico conhecido. Qualquer valor que não pertença ao conjunto pode indicar uma nova categoria legítima ou um erro nos dados. Registre ou sinalize os valores desconhecidos para análise manual em vez de descartá-los silenciosamente, para que nada passe despercebido.

Aqui está um fluxo completo de limpeza de texto que aplica todas as técnicas desta lição: remover espaços em branco, normalizar maiúsculas e minúsculas, corrigir abreviações, remover caracteres especiais e validar com base em uma lista canônica. Esse é o tipo de função reutilizável que você adicionaria a qualquer módulo de ingestão de dados.

Nesta lição, você aprendeu a concatenar colunas com o operador + depois de converter números em strings, usar str.cat(sep=) para juntar valores com um delimitador e tratar NaN, aplicar um mapa canônico com .map() para normalizar rótulos inconsistentes e usar explode() para expandir células com valores em listas em várias linhas. Imponha conjuntos canônicos para detectar problemas de qualidade dos dados logo no início. A seguir, você aprenderá a ordenar DataFrames pelos valores das colunas.