Criando uma função reutilizável para limpar texto
Agrupe seus passos em uma única função auxiliar.
Criando uma função reutilizável para limpar texto é uma aula grátis de NLP Academy no CoddyKit. Esta é a aula 4 de 4. Você pode ler a aula completa abaixo gratuitamente — depois pratica ao vivo no navegador com um editor de código integrado e um tutor de IA 24/7. Faz parte do caminho de aprendizado de NLP Academy, e seu progresso é sincronizado entre a web e o app CoddyKit. O curso de NLP Academy inclui 4 aulas no total.
Reunindo tudo
Você aprendeu a converter para minúsculas, remover palavras de parada e eliminar pontuação. Agora vamos reunir tudo em uma função reutilizável que você pode chamar em qualquer lugar.
Por que um auxiliar é melhor que copiar e colar
Uma única função clean_text garante que todo documento receba exatamente o mesmo tratamento. Corrija um erro uma vez e todo o projeto se beneficiará.
Comece com uma assinatura
Defina primeiro o formato. Ela recebe texto bruto e devolve uma lista limpa de tokens, a entrada padrão para as etapas posteriores.
def clean_text(text):
passEtapa um: converter para minúsculas
Comece convertendo tudo para minúsculas. Assim, “O” e “o” correspondem e seu vocabulário não fica duplicado.
text = text.lower()Etapa dois: remover símbolos
Em seguida, remova a pontuação e os símbolos soltos com uma rápida expressão regular, para que sinais finais nunca fiquem presos às suas palavras.
import re
text = re.sub(r"[^a-z0-9 ]", " ", text)Etapa três: tokenizar
Divida a string limpa em palavras. Um simples split funciona bem aqui, porque você já removeu a pontuação problemática.
tokens = text.split()Etapa quatro: remover palavras de parada
Filtre as palavras que representam ruído usando seu conjunto de palavras de parada. Crie esse conjunto uma vez, fora da função, para que ele não seja recriado a cada chamada.
tokens = [t for t in tokens if t not in stops]Reunindo as etapas
Encadeie as etapas na ordem e devolva o resultado. Esse pipeline compacto transforma qualquer string bruta em tokens limpos.
def clean_text(text):
text = text.lower()
text = re.sub(r"[^a-z0-9 ]", " ", text)
return [t for t in text.split() if t not in stops]Experimente
Chame a função em uma frase desorganizada e observe a desordem desaparecer. A saída é uma lista organizada, pronta para a próxima etapa em PLN.
print(clean_text("The Cats, dogs! and 2 birds."))Torne-a flexível
Adicione uma opção para que quem chama a função possa manter as palavras de parada quando necessário. Parâmetros opcionais permitem que um único auxiliar atenda a várias tarefas.
def clean_text(text, drop_stops=True):
...Aplique em grande escala
Como é uma função, você pode aplicá-la a todo um conjunto de dados em uma única linha, limpando cada documento de maneira consistente.
cleaned = [clean_text(doc) for doc in documents]Verificação rápida
A ordem importa quando você encadeia etapas de limpeza.
Recapitulação
Você criou um auxiliar reutilizável clean_text: converter para minúsculas, remover símbolos, tokenizar e depois eliminar palavras de parada. Uma função, resultados consistentes em todos os lugares.
Perguntas Frequentes
A aula “Criando uma função reutilizável para limpar texto” é grátis?
Sim — o texto completo de “Criando uma função reutilizável para limpar texto” é grátis para ler aqui na web. Para praticá-la interativamente (um editor de código integrado e um tutor de IA 24/7) e desbloquear o restante do curso de NLP Academy, atualize para CoddyKit PRO. O curso de NLP Academy inclui 4 aulas no total.
O que vou aprender em “Criando uma função reutilizável para limpar texto”?
Agrupe seus passos em uma única função auxiliar. Você pratica NLP Academy com código prático que executa diretamente no navegador, e um tutor de IA 24/7 responde suas dúvidas enquanto trabalha na aula.
Preciso ter experiência prévia para começar NLP Academy?
Nenhuma experiência prévia é necessária. NLP Academy no CoddyKit é estruturado para alunos iniciantes até avançados, então você pode começar aqui ou desde o início e aprender no seu ritmo. Esta é a aula 4 de 4.
Quanto tempo leva a aula “Criando uma função reutilizável para limpar texto”?
A maioria das aulas CoddyKit leva cerca de 5–10 minutos. Cada uma é compacta e interativa, então você faz progresso constante e retoma exatamente de onde parou entre web e app.
Posso escrever e executar código nesta aula de NLP Academy?
Sim. Cada aula de NLP Academy inclui um editor de código integrado, então você escreve e executa código real direto no navegador e recebe feedback de IA instantaneamente — nenhuma configuração local necessária.
Todas as aulas deste curso
- O que são stopwords?
- Filtrando stopwords com NLTK
- Removendo pontuação e símbolos
- Criando uma função reutilizável para limpar texto