Tokenizzazione e normalizzazione

Il preprocessing del testo è un passaggio cruciale nell'NLP. Consiste nel trasformare il testo grezzo in un formato strutturato per l'analisi. I passaggi chiave del preprocessing includono la tokenizzazione e la normalizzazione.

Che cos’è la tokenizzazione

La tokenizzazione è il processo di suddivisione del testo in unità più piccole, chiamate token. I token possono essere parole, frasi o caratteri.

Ad esempio:

Testo: "NLP is amazing!"

Token: ["NLP", "is", "amazing", "!"]

Esempio di tokenizzazione in Python

Utilizzando la libreria NLTK, possiamo tokenizzare il testo in parole o frasi:

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Che cos’è la normalizzazione

La normalizzazione consiste nel ripulire e standardizzare il testo. Tra le tecniche di normalizzazione più comuni vi sono:

• Conversione in minuscolo: conversione di tutto il testo in caratteri minuscoli.
• Rimozione della punteggiatura: eliminazione dei segni di punteggiatura.
• Stemming: riduzione delle parole alla radice mediante la rimozione dei suffissi. Ad esempio, "running" → "run".
• Lemmatizzazione: riduzione delle parole alla loro forma base utilizzando il contesto. Ad esempio, "better" → "good".

Conversione in minuscolo e rimozione della punteggiatura

Ecco come normalizzare il testo convertendolo in caratteri minuscoli e rimuovendo la punteggiatura:

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Stemming e lemmatizzazione

Stemming: riduce le parole alla radice eliminando le desinenze. È basato su regole e potrebbe non produrre sempre parole valide.

Lemmatizzazione: utilizza un vocabolario e regole grammaticali per ridurre le parole alla loro forma base dotata di significato.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Rimozione delle stopword

Le stopword sono parole comuni, come "is", "and" e "the", che spesso non apportano un significato rilevante. La loro rimozione può semplificare l’analisi del testo:

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Problemi nella pre-elaborazione del testo

La pre-elaborazione del testo può essere complessa a causa di:

• Ambiguità: parole come "lead" possono avere più significati.
• Contesto: la lemmatizzazione richiede la comprensione del contesto della parola.
• Variabilità linguistica: gestione di lingue e dialetti diversi.

Riepilogo e prossimi passi

In questa lezione abbiamo:

• Imparato a conoscere la tokenizzazione e la normalizzazione.
• Esplorato tecniche come stemming, lemmatizzazione e rimozione delle stopword.
• Fatto pratica con il preprocessing del testo in Python.

Successivamente analizzeremo i pattern testuali usando modelli N-Gram.