Supprimer la ponctuation et les symboles
Nettoyer les caractères qui perturbent les modèles
Supprimer la ponctuation et les symboles est une leçon NLP Academy gratuite sur CoddyKit. Ceci est la leçon 3 sur 4. Tu peux lire la leçon complète ci-dessous gratuitement — puis la pratiquer en direct dans le navigateur avec un éditeur de code intégré et un tuteur IA 24/7. Elle fait partie du parcours d'apprentissage NLP Academy, et ta progression se synchronise sur le web et l'application CoddyKit. Le cours NLP Academy comprend 4 leçons au total.
La ponctuation est aussi du bruit
Après les mots vides, le prochain élément superflu est constitué des symboles. Les virgules, les signes dollar et les émojis peuvent perturber un modèle ; nous supprimons donc souvent la ponctuation.
Pourquoi c’est important
Sans nettoyage, votre modèle considère cat, et cat comme deux tokens différents. La virgule finale transforme un mot en deux caractéristiques.
Python connaît les signes
Le module consacré aux chaînes vous fournit tous les signes courants dans une constante appelée ponctuation, vous évitant de les saisir manuellement.
import string
print(string.punctuation)L’astuce de translate
Le moyen le plus rapide de supprimer des caractères consiste à utiliser str.translate avec une table qui associe chaque signe à une chaîne vide.
table = str.maketrans("", "", string.punctuation)
clean = "hello, world!".translate(table)
print(clean)Nettoyage token par token
Vous pouvez aussi supprimer les signes token par token. Appliquez translate dans une compréhension, puis éliminez tout token devenu vide.
clean = [t.translate(table) for t in tokens]
clean = [t for t in clean if t]Les expressions régulières pour les symboles
Vous avez besoin de plus de contrôle que ne le permet une liste fixe ? Une expression régulière peut supprimer tout ce qui n’est ni une lettre, ni un chiffre, ni un espace.
import re
clean = re.sub(r"[^a-zA-Z0-9 ]", "", text)Attention aux signes utiles
Certains symboles ont un sens. Supprimer tous les points transforme u.s.a en usa, ce qui n’est peut-être pas ce que vous souhaitez pour votre tâche.
Les nombres sont un choix
Les chiffres ne sont pas de la ponctuation, mais ils constituent souvent du bruit. Décidez volontairement de conserver ou non les nombres dans vos données.
no_digits = re.sub(r"\d+", "", text)Surveillez les symboles Unicode
L’ensemble de ponctuation ASCII ne détecte pas les guillemets courbes ni les émojis. Une expression régulière compatible avec Unicode détecte les symboles qu’une liste fixe laisse de côté.
clean = re.sub(r"[^\w\s]", "", text)Réduire les espaces superflus
La suppression des signes peut laisser des trous et des espaces doubles. Une rapide réduction des espaces remet le résultat en ordre pour obtenir des mots propres.
clean = re.sub(r"\s+", " ", clean).strip()Ordre des opérations
La séquence est importante. Supprimez la ponctuation avant de séparer ou de comparer le texte, afin qu’aucun signe final ne se glisse dans vos tokens définitifs.
Vérification rapide
Choisissez la meilleure façon de supprimer la ponctuation d’une chaîne.
Récapitulatif
Vous pouvez maintenant supprimer la ponctuation avec translate ou une expression régulière, traiter volontairement Unicode et les nombres, puis réduire les espaces restants pour obtenir des tokens propres.
Apprends Python avec un tuteur IA — gratuit
Écris et exécute du vrai code dans ton navigateur, obtiens de l'aide instantanée d'un tuteur IA disponible 24h/24, et reprends là où tu t'es arrêté sur le web ou dans l'app.
- Cours
- 30
- Leçons
- 120
Questions Fréquemment Posées
La leçon « Supprimer la ponctuation et les symboles » est-elle gratuite ?
Oui — le texte complet de « Supprimer la ponctuation et les symboles » est gratuit à lire ici sur le web. Pour la pratiquer de manière interactive (un éditeur de code intégré et un tuteur IA 24/7) et déverrouiller le reste du cours NLP Academy, passe à CoddyKit PRO. Le cours NLP Academy comprend 4 leçons au total.
Qu'est-ce que j'apprendrai dans « Supprimer la ponctuation et les symboles » ?
Nettoyer les caractères qui perturbent les modèles Tu pratiques NLP Academy avec du code pratique que tu exécutes directement dans le navigateur, et un tuteur IA 24/7 répond à tes questions au fur et à mesure que tu avances dans la leçon.
Dois-je avoir de l'expérience pour commencer NLP Academy ?
Aucune expérience préalable n'est requise. NLP Academy sur CoddyKit est structuré pour les débutants jusqu'aux apprenants avancés, donc tu peux commencer ici ou depuis le début et avancer à ton rythme. Ceci est la leçon 3 sur 4.
Combien de temps prend la leçon « Supprimer la ponctuation et les symboles » ?
La plupart des leçons CoddyKit prennent environ 5–10 minutes. Chacune est courte et interactive, tu progresses régulièrement et tu repiques exactement où tu t'es arrêté sur le web et l'app.
Peux-tu écrire et exécuter du code dans cette leçon NLP Academy ?
Oui. Chaque leçon NLP Academy inclut un éditeur de code intégré, tu écris et exécutes du vrai code directement dans ton navigateur et tu reçois des retours IA instantanés — aucune configuration locale requise.
Toutes les leçons de ce cours
- Que sont les mots vides ?
- Filtrer les mots vides avec NLTK
- Supprimer la ponctuation et les symboles
- Créer une fonction réutilisable de nettoyage du texte