Tokenizzazione e normalizzazione

La pre-elaborazione del testo è un passaggio fondamentale nell’NLP. Consiste nel trasformare il testo grezzo in un formato strutturato per l’analisi. I principali passaggi di pre-elaborazione includono la tokenizzazione e la normalizzazione.

Che cos’è la tokenizzazione?

La tokenizzazione è il processo di suddivisione del testo in unità più piccole, chiamate token. I token possono essere parole, frasi o caratteri.

Ad esempio:

Testo: "NLP is amazing!"

Token: ["NLP", "is", "amazing", "!"]

Esempio di tokenizzazione in Python

Utilizzando la libreria NLTK, possiamo tokenizzare il testo in parole o frasi:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Che cos’è la normalizzazione?

La normalizzazione consiste nel pulire e standardizzare il testo. Tra le tecniche di normalizzazione più comuni troviamo:

• Conversione in minuscolo: conversione di tutto il testo in lettere minuscole.
• Rimozione della punteggiatura: eliminazione dei segni di punteggiatura.
• Stemming: riduzione delle parole alla loro radice (ad esempio, "running" → "run").
• Lemmatizzazione: riduzione delle parole alla loro forma base utilizzando il contesto (ad esempio, "better" → "good").

Conversione in minuscolo e rimozione della punteggiatura

Ecco come normalizzare il testo convertendolo in minuscolo e rimuovendo la punteggiatura:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming e lemmatizzazione

Stemming: riduce le parole alla loro radice eliminando le desinenze. Si basa su regole e non sempre produce parole valide.

Lemmatizzazione: utilizza un vocabolario e regole grammaticali per ridurre le parole alla loro forma base dotata di significato.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Rimozione delle stopword

Le stopword sono parole comuni (ad esempio, "is", "and", "the") che spesso non hanno un significato rilevante. Rimuoverle può semplificare l’analisi del testo:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Sfide nella pre-elaborazione del testo

La pre-elaborazione del testo può essere complessa a causa di:

• Ambiguità: parole come "lead" possono avere più significati.
• Contesto: la lemmatizzazione richiede la comprensione del contesto della parola.
• Variabilità linguistica: gestione di lingue e dialetti diversi.

Riepilogo e prossimi passaggi

In questa lezione:

• Abbiamo appreso la tokenizzazione e la normalizzazione.
• Abbiamo esplorato tecniche come stemming, lemmatizzazione e rimozione delle stopword.
• Abbiamo fatto pratica con la pre-elaborazione del testo in Python.

Successivamente, analizzeremo i modelli N-Gram per individuare gli schemi nel testo.