Tokenisation et normalisation

Le prétraitement des textes est une étape essentielle du TAL. Il consiste à transformer un texte brut en un format structuré afin de pouvoir l’analyser. Les principales étapes de prétraitement comprennent la tokenisation et la normalisation.

Qu’est-ce que la tokenisation ?

La tokenisation consiste à découper un texte en unités plus petites, appelées tokens. Les tokens peuvent être des mots, des phrases ou des caractères.

Par exemple :

Texte : "NLP is amazing!"

Tokens : ["NLP", "is", "amazing", "!"]

Exemple de tokenisation en Python

Avec la bibliothèque NLTK, nous pouvons tokeniser un texte en mots ou en phrases :

from nltk.tokenize import word_tokenize, sent_tokenize

# Example text
text = "Tokenization is a key step in NLP. Let's learn it!"

# Word Tokenization
word_tokens = word_tokenize(text)
print("Word Tokens:", word_tokens)

# Sentence Tokenization
sentence_tokens = sent_tokenize(text)
print("Sentence Tokens:", sentence_tokens)

Qu’est-ce que la normalisation ?

La normalisation consiste à nettoyer et à standardiser un texte. Les techniques courantes de normalisation comprennent :

• Conversion en minuscules : conversion de tout le texte en minuscules.
• Suppression de la ponctuation : élimination des signes de ponctuation.
• Racinisation : réduction des mots à leur racine (par exemple, "running" → "run").
• Lemmatisation : réduction des mots à leur forme de base en fonction du contexte (par exemple, "better" → "good").

Conversion en minuscules et suppression de la ponctuation

Voici comment normaliser un texte en le convertissant en minuscules et en supprimant la ponctuation :

import string

# Example text
text = "Normalization in NLP is Important!"

# Lowercasing
text = text.lower()

# Removing Punctuation
text = text.translate(str.maketrans('', '', string.punctuation))
print("Normalized Text:", text)

Racinisation et lemmatisation

Racinisation : réduit les mots à leur racine en supprimant leurs suffixes. Cette méthode repose sur des règles et ne produit pas toujours des mots valides.

Lemmatisation : utilise un vocabulaire et des règles grammaticales pour réduire les mots à leur forme de base porteuse de sens.

from nltk.stem import PorterStemmer, WordNetLemmatizer

# Example text
word = "running"

# Stemming
stemmer = PorterStemmer()
print("Stemmed Word:", stemmer.stem(word))

# Lemmatization
lemmatizer = WordNetLemmatizer()
print("Lemmatized Word:", lemmatizer.lemmatize(word, pos='v'))

Suppression des mots vides

Les mots vides sont des mots courants (par exemple, "is", "and", "the") qui n’apportent souvent pas de sens important. Les supprimer peut simplifier l’analyse des textes :

from nltk.corpus import stopwords

# Example text
text = "This is a simple NLP example."

# Tokenize text
words = word_tokenize(text)

# Remove stopwords
stop_words = set(stopwords.words('english'))
filtered_words = [word for word in words if word.lower() not in stop_words]
print("Filtered Words:", filtered_words)

Difficultés du prétraitement des textes

Le prétraitement des textes peut être difficile en raison des éléments suivants :

• Ambiguïté : des mots comme "lead" peuvent avoir plusieurs sens.
• Contexte : la lemmatisation nécessite de comprendre le contexte du mot.
• Variations linguistiques : prise en charge de différentes langues et de différents dialectes.

Résumé et prochaines étapes

Dans cette leçon, nous avons :

• Étudié la tokenisation et la normalisation.
• Découvert des techniques comme la racinisation, la lemmatisation et la suppression des mots vides.
• Mis en pratique le prétraitement des textes avec Python.

Nous allons maintenant analyser les structures des textes à l’aide de modèles à N-grammes.