Почему важны регистр и пробелы

Для компьютера две строки совпадают только тогда, когда каждый символ идентичен. Поэтому Apple и apple выглядят как два совершенно разных слова, хотя Вы читаете их одинаково. 🤔

Человеческий язык неидеален. Одна и та же идея встречается как Run, run и RUN, но исходный текст считает каждый вариант отдельным токеном со своим количеством.

Сравните два написания одного слова — Python скажет, что они различаются. Именно это небольшое несоответствие исправляет нормализация.

Скрытые пробельные символы не менее коварны. Конечный пробел превращает hello в строку, которая больше не равна hello, нарушая подсчёты.

Табуляции и переводы строк тоже считаются символами. Слово, окружённое табуляцией или переводом строки, технически отличается от ожидаемого обычного слова.

Представьте, что Вы подсчитываете слова в отзыве. Если Good встречается три раза, а good — дважды, Вы получаете две записи с количеством два и три вместо одного правильного подсчёта: пять.

Поиск по запросу paris должен находить и Paris, и PARIS, и paris. Без нормализации пользователь не получает результаты из-за простого несовпадения регистра. 😕

Нормализация означает приведение текста к одной согласованной форме, чтобы одинаковая идея всегда совпадала сама с собой. Это незаметный шаг, благодаря которому всё последующее работает правильно.

Один вызов мгновенно устраняет различия в регистре. Здесь lower приводит оба слова к одной форме, и теперь они наконец совпадают.

От лишних пробелов тоже легко избавиться. Метод strip убирает пробелы по краям, чтобы значение совпадало с нужным чистым токеном.

У каждого изучаемого Вами шага очистки одна цель: привести варианты слова к единой канонической форме, на которую Ваши модели могут полагаться. ✨

Вы увидели, как небольшие различия в регистре и пробелах создают ложные несовпадения и разделяют подсчёт слов. Нормализация приводит текст к одной согласованной форме. Отличное начало! 🎉