Learn AI with Python · Aula

Limpeza de texto para IA com expressões regulares

Remoção de tags HTML, pontuação, URLs e e-mails — construção de funções de pré-processamento de texto.

Limpeza de texto para IA com expressões regulares é uma aula grátis de Learn AI with Python no CoddyKit. Esta é a aula 4 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de Learn AI with Python, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de Learn AI with Python inclui 4 aulas no total.

Por que limpar texto para a IA?

O texto bruto da web está cheio de ruído: tags HTML, URLs, e-mails, espaços em branco extras e caracteres especiais. Fornecer tudo isso a um modelo desperdiça capacidade e prejudica a qualidade.

As expressões regulares são a principal ferramenta do pré-processamento de texto. Vamos criar um pipeline de limpeza passo a passo.

Uma amostra desorganizada

Este é o tipo de cadeia de caracteres que você pode extrair. Cada etapa de limpeza atua sobre um tipo de ruído.

raw = "<p>Contact us at info@shop.com or visit https://shop.com NOW!!!   Thanks</p>"

Removendo tags HTML

As tags HTML têm a aparência de <tag>. O padrão <[^>]+> corresponde a um <, a quaisquer caracteres que não sejam > e, depois, a >.

Substitua-as por uma cadeia vazia. (Para HTML complexo, prefira um analisador como BeautifulSoup, mas as expressões regulares são adequadas para uma limpeza rápida.)

import re

text = re.sub("<[^>]+>", "", raw)
print(text)   # "Contact us at info@shop.com or visit https://shop.com NOW!!!   Thanks"

Removendo URLs

As URLs começam com http:// ou https://, seguidos por caracteres que não sejam espaços. Faça a correspondência e remova-as.

import re

text = re.sub("https?://\S+", "", text)
print(text)   # URL removed

Removendo endereços de e-mail

Um padrão simples para e-mail: caracteres de palavra, um @, um domínio, um ponto e um domínio de nível superior.

import re

text = re.sub("\S+@\S+\.\S+", "", text)
print(text)   # email removed

Mascarando em vez de removendo

Em conjuntos de dados de privacidade, geralmente você mascara os dados sensíveis em vez de excluí-los, preservando a estrutura das frases.

import re

masked = re.sub("\S+@\S+\.\S+", "[EMAIL]", "reach me at a@b.com please")
print(masked)   # "reach me at [EMAIL] please"

Removendo caracteres especiais

Mantenha letras, dígitos e espaços; remova a pontuação e os símbolos com um conjunto negado. Dependendo da tarefa, decida se deve manter parte da pontuação.

import re

text = re.sub("[^A-Za-z0-9 ]", "", "Hello!! @world #2026")
print(text)   # "Hello world 2026"

Normalizando espaços em branco

A limpeza deixa espaços duplos e quebras de linha soltas. Reúna qualquer sequência de espaços em branco em um único espaço com \s+ e, depois, aplique strip() às extremidades.

import re

text = re.sub("\s+", " ", "Hello    world\n\n  again").strip()
print(text)   # "Hello world again"

Convertendo para minúsculas e a importância da ordem

Converter para minúsculas é comum para manter a consistência, mas faça isso com cuidado. Além disso, a ordem é importante: remova as tags HTML antes de remover os caracteres especiais e normalize os espaços em branco por último, para que as remoções anteriores não deixem lacunas.

text = text.lower()
# Pipeline order: tags -> urls -> emails -> specials -> whitespace -> lowercase

Criando um pipeline de limpeza

Reúna as etapas em uma única função para que todos os documentos recebam o mesmo tratamento. Pré-compile os padrões para obter mais velocidade ao processar muitos documentos.

import re

def clean_text(s):
    s = re.sub("<[^>]+>", " ", s)          # html tags
    s = re.sub("https?://\S+", " ", s)     # urls
    s = re.sub("\S+@\S+\.\S+", " ", s)    # emails
    s = re.sub("[^A-Za-z0-9 ]", " ", s)     # special chars
    s = re.sub("\s+", " ", s).strip()       # whitespace
    return s.lower()

print(clean_text(raw))

Aplicando o pipeline a um DataFrame

Execute o limpador em uma coluna de texto inteira com apply, produzindo uma coluna pronta para o modelo.

import pandas as pd

df["clean"] = df["text"].apply(clean_text)
print(df[["text", "clean"]].head())

Verificação rápida: normalização de espaços em branco

Após a limpeza, seu texto contém sequências de vários espaços e quebras de linha que você quer reduzir a espaços únicos.

Recapitulação: limpeza de texto com expressões regulares

Você criou um pipeline real de pré-processamento:

Remova as tags HTML com <[^>]+>
Remova URLs (https?://\S+) e e-mails
Mascarar dados sensíveis com marcadores como [EMAIL]
Remova caracteres especiais com um conjunto negado
Normalize os espaços em branco com \s+ + strip()
Reúna tudo em uma função e aplique apply a uma coluna

Isso conclui o estudo de expressões regulares para texto de IA. A seguir: bancos de dados para projetos de IA.

Perguntas Frequentes

A aula “Limpeza de texto para IA com expressões regulares” é grátis?

Sim — o texto completo de “Limpeza de texto para IA com expressões regulares” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de Learn AI with Python, atualize para CoddyKit PRO. O curso de Learn AI with Python inclui 4 aulas no total.

O que vou aprender em “Limpeza de texto para IA com expressões regulares”?

Remoção de tags HTML, pontuação, URLs e e-mails — construção de funções de pré-processamento de texto. Você pratica Learn AI with Python com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.

Preciso ter experiência prévia para começar Learn AI with Python?

Nenhuma experiência prévia é necessária. Learn AI with Python no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 4 de 4.

Quanto tempo leva a aula “Limpeza de texto para IA com expressões regulares”?

A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.

Posso escrever e executar código nesta aula de Learn AI with Python?

Sim. Cada aula de Learn AI with Python inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.

Todas as aulas deste curso

Padrões de expressões regulares e classes de caracteres
Módulo re: pesquisa, correspondência, localização e substituição
Grupos de captura e grupos nomeados
Limpeza de texto para IA com expressões regulares

← Voltar para Learn AI with Python