Разбиение по пробелам и его ограничения

Проще всего выполнять токенизацию, разделяя текст по пробелам. Метод split() в Python делает именно это без какой-либо настройки. ✂️

Вызванный без аргументов, split() разделяет текст по любой последовательности пробельных символов: пробелам, табуляции или переводам строк. Пустые промежутки автоматически игнорируются.

Для чистых простых предложений разделение по пробельным символам выполняется быстро и даёт достаточно хороший результат. Это хороший первый шаг во время изучения основ.

Вот первая проблема: знаки препинания приклеиваются к словам. Разбиение cats! даёт cats! как один токен, а не нужное Вам чистое слово cats.

Теперь cats и cats! считаются двумя разными токенами. Подсчёты слов разделяются, незаметно искажая все последующие измерения.

Разбиение по пробельным символам оставляет don't одним фрагментом. Оно не видит скрытое not внутри, поэтому отрицание полностью теряется.

Такое слово, как state-of-the-art, остаётся одним слитным токеном. Иногда это правильно, но split() не даёт Вам выбора.

Многие языки, например китайский, пишутся без пробелов между словами. В таком случае разделение по пробельным символам полностью не работает и возвращает один огромный токен.

Одно лишь разделение сохраняет Cats и cats раздельно из-за заглавной буквы. Разбиение по пробельным символам вовсе не выполняет нормализацию за Вас.

Все эти недостатки накапливаются. Неаккуратные токены приводят к неправильным подсчётам, а неправильные подсчёты — к более слабой модели в дальнейшем конвейере.

Разбиение по пробельным символам — отличный учебный пример, но плохое окончательное решение. В реальных проектах используют полноценный токенизатор, обрабатывающий такие крайние случаи.

Разбиение по пробельным символам с помощью split() простое и быстрое, но оно приклеивает знаки препинания, пропускает сокращения и не работает без пробелов. Отлично для обучения, но недостаточно для готового решения.