Удаление пунктуации и символов
Очистите текст от символов, которые сбивают модели
«Удаление пунктуации и символов» — бесплатный урок NLP Academy на CoddyKit. Это урок 3 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения NLP Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс NLP Academy содержит 4 уроков всего.
Знаки препинания — тоже шум
После стоп-слов следующим источником лишних данных становятся символы. Запятые, знаки доллара и эмодзи могут запутать модель, поэтому мы часто удаляем знаки препинания.
Почему это важно
Без очистки модель видит cat и cat как два разных токена. Запятая в конце разделяет одно слово на два признака.
Python знает эти знаки
Модуль строк предоставляет все распространённые знаки в одной константе под названием знаки препинания, поэтому Вам не придётся вводить их вручную.
import string
print(string.punctuation)Приём с translate
Быстрее всего удалять символы с помощью str.translate и таблицы, которая сопоставляет каждому знаку полное отсутствие символа.
table = str.maketrans("", "", string.punctuation)
clean = "hello, world!".translate(table)
print(clean)Очистка каждого токена
Можно также удалять знаки в каждом токене отдельно. Примените translate внутри включения, а затем удалите все токены, ставшие пустыми.
clean = [t.translate(table) for t in tokens]
clean = [t for t in clean if t]Регулярные выражения для символов
Нужен больший контроль, чем даёт фиксированный список? Регулярное выражение может удалить всё, что не является буквой, цифрой или пробелом.
import re
clean = re.sub(r"[^a-zA-Z0-9 ]", "", text)Остерегайтесь полезных знаков
Некоторые символы несут смысл. Если удалить все точки, u.s.a превратится в usa, и для Вашей задачи это может быть не то, чего Вы хотите.
Числа — вопрос выбора
Цифры не являются знаками препинания, но часто оказываются шумом. Осознанно решите, оставлять или удалять числа в своих данных.
no_digits = re.sub(r"\d+", "", text)Следите за символами Unicode
Набор знаков препинания ASCII не включает типографские кавычки и эмодзи. Регулярное выражение с поддержкой Unicode обнаружит символы, которые остаются после обработки фиксированным списком.
clean = re.sub(r"[^\w\s]", "", text)Сверните лишние пробелы
После удаления знаков могут остаться промежутки и двойные пробелы. Быстрое удаление лишних пробельных символов снова приведёт результат к аккуратным словам.
clean = re.sub(r"\s+", " ", clean).strip()Порядок операций
Порядок важен. Удаляйте знаки препинания до разделения или сравнения, чтобы конечные знаки не проникли в итоговые токены.
Быстрая проверка
Выберите самый чистый способ удалить знаки препинания из строки.
Итоги
Теперь Вы умеете удалять знаки препинания с помощью translate или регулярного выражения, осознанно обрабатывать Unicode и числа, а также убирать оставшиеся пробелы для получения чистых токенов.
Часто задаваемые вопросы
Урок «Удаление пунктуации и символов» бесплатный?
Да — полный текст урока «Удаление пунктуации и символов» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс NLP Academy, подпишись на CoddyKit PRO. Курс NLP Academy содержит 4 уроков всего.
Чему я научусь в уроке «Удаление пунктуации и символов»?
Очистите текст от символов, которые сбивают модели Ты практикуешь NLP Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать NLP Academy?
Предыдущий опыт не требуется. NLP Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 3 из 4.
Сколько времени занимает урок «Удаление пунктуации и символов»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке NLP Academy?
Да. Каждый урок NLP Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Что такое стоп-слова
- Фильтрация стоп-слов с помощью NLTK
- Удаление пунктуации и символов
- Создание универсальной функции очистки текста