Tokenización y normalización

El preprocesamiento de texto es un paso fundamental del NLP. Consiste en transformar texto sin procesar a un formato estructurado para su análisis. Entre los pasos clave del preprocesamiento se incluyen la tokenización y la normalización.

¿Qué es la tokenización?

La tokenización es el proceso de dividir el texto en unidades más pequeñas llamadas tokens. Los tokens pueden ser palabras, oraciones o caracteres.

Por ejemplo:

Texto: "NLP is amazing!"

Tokens: ["NLP", "is", "amazing", "!"]

Ejemplo de tokenización en Python

Con la biblioteca NLTK, podemos tokenizar el texto en palabras u oraciones:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

¿Qué es la normalización?

La normalización consiste en limpiar y estandarizar el texto. Entre las técnicas habituales de normalización se incluyen:

• Conversión a minúsculas: Convertir todo el texto a minúsculas.
• Eliminación de la puntuación: Eliminar los signos de puntuación.
• Stemming: Reducir las palabras a su raíz eliminando sufijos (por ejemplo, "running" → "run").
• Lematización: Reducir las palabras a su forma base utilizando el contexto (por ejemplo, "better" → "good").

Conversión a minúsculas y eliminación de la puntuación

A continuación se muestra cómo normalizar el texto convirtiéndolo a minúsculas y eliminando la puntuación:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming y lematización

Stemming: Reduce las palabras a su raíz eliminando sufijos. Se basa en reglas y no siempre produce palabras válidas.

Lematización: Utiliza un vocabulario y reglas gramaticales para reducir las palabras a su forma base con significado.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Eliminación de stopwords

Las stopwords son palabras comunes (por ejemplo, "is", "and", "the") que a menudo no aportan un significado relevante. Eliminarlas puede simplificar el análisis de texto:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Desafíos del preprocesamiento de texto

El preprocesamiento de texto puede ser complicado debido a:

• Ambigüedad: Palabras como "lead" pueden tener varios significados.
• Contexto: La lematización requiere comprender el contexto de la palabra.
• Variación lingüística: Gestión de diferentes idiomas y dialectos.

Resumen y próximos pasos

En esta lección:

• Aprendimos sobre la tokenización y la normalización.
• Exploramos técnicas como el stemming, la lematización y la eliminación de palabras vacías.
• Practicamos el preprocesamiento de texto con Python.

A continuación, analizaremos patrones de texto mediante modelos de N-gramas.