Removendo pontuação e símbolos

Depois das palavras de parada, a próxima fonte de desordem são os símbolos. Vírgulas, cifrões e emojis podem confundir um modelo, por isso geralmente removemos a pontuação.

Sem limpeza, seu modelo vê “gato,” e “gato” como dois tokens diferentes. Essa vírgula final divide uma palavra em duas características.

O módulo de strings fornece todos os sinais comuns em uma única constante chamada pontuação, para que você nunca precise digitá-los manualmente.

A maneira mais rápida de excluir caracteres é usar str.translate com uma tabela que mapeia cada sinal para absolutamente nada.

Você também pode remover os sinais token por token. Aplique translate dentro de uma compreensão e depois descarte qualquer token que tenha ficado vazio.

Precisa de mais controle do que uma lista fixa oferece? Uma expressão regular pode apagar tudo que não seja uma letra, um número ou um espaço.

Alguns símbolos carregam significado. Remover todos os pontos transforma “u.s.a” em “usa”, e talvez não seja isso que você quer para sua tarefa.

Os dígitos não são pontuação, mas muitas vezes são ruído. Decida deliberadamente se deve manter ou remover os números dos seus dados.

O conjunto de pontuação ASCII não inclui aspas curvas nem emojis. Uma expressão regular compatível com Unicode captura os símbolos que uma lista fixa deixa para trás.

Remover sinais pode deixar lacunas e espaços duplicados. Uma rápida compactação de espaços em branco reorganiza o resultado em palavras limpas.

A sequência importa. Remova a pontuação antes de dividir ou comparar, para que sinais finais nunca apareçam sorrateiramente nos seus tokens finais.

Agora você pode remover a pontuação com translate ou expressões regulares, lidar deliberadamente com Unicode e números e compactar os espaços restantes para obter tokens limpos.