Tokenização e normalização

O pré-processamento de texto é uma etapa essencial do PLN. Ele envolve a transformação de texto bruto em um formato estruturado para análise. As principais etapas de pré-processamento incluem a tokenização e a normalização.

O que é tokenização?

Tokenização é o processo de dividir o texto em unidades menores, chamadas tokens. Os tokens podem ser palavras, frases ou caracteres.

Por exemplo:

Texto: "NLP is amazing!"

Tokens: ["NLP", "is", "amazing", "!"]

Exemplo de tokenização em Python

Usando a biblioteca NLTK, podemos tokenizar o texto em palavras ou frases:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

O que é normalização?

A normalização envolve limpar e padronizar o texto. As técnicas comuns de normalização incluem:

• Conversão para minúsculas: Converter todo o texto para letras minúsculas.
• Remoção da pontuação: Eliminar os sinais de pontuação.
• Redução ao radical: Reduzir as palavras à sua forma básica, removendo afixos (por exemplo, "running" → "run").
• Lematização: Reduzir as palavras à sua forma básica usando o contexto (por exemplo, "better" → "good").

Conversão para minúsculas e remoção da pontuação

Veja como normalizar o texto convertendo-o para letras minúsculas e removendo a pontuação:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Redução ao radical e lematização

Redução ao radical: Reduz as palavras ao seu radical removendo os sufixos. É baseada em regras e pode não produzir palavras válidas.

Lematização: Usa um vocabulário e regras gramaticais para reduzir as palavras à sua forma básica com significado.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Remoção de palavras de parada

Palavras de parada são palavras comuns (por exemplo, "is", "and", "the") que geralmente não carregam um significado relevante. Removê-las pode simplificar a análise de texto:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Desafios no pré-processamento de texto

O pré-processamento de texto pode ser desafiador devido a:

• Ambiguidade: Palavras como "lead" podem ter vários significados.
• Contexto: A lematização exige compreender o contexto da palavra.
• Variação linguística: Lidar com diferentes idiomas e dialetos.

Resumo e próximos passos

Nesta lição, nós:

• Aprendemos sobre tokenização e normalização.
• Exploramos técnicas como redução ao radical, lematização e remoção de palavras de parada.
• Praticamos o pré-processamento de texto com Python.

Em seguida, analisaremos padrões de texto usando modelos de n-gramas.