ASCII, Unicode и представление текста

ASCII (американский стандартный код для обмена информацией), стандартизированный в 1963 году, кодирует 128 символов с помощью 7 бит (значения 0–127). Он охватывает английский алфавит (прописные и строчные буквы), цифры, знаки пунктуации и управляющие символы.

ASCII был разработан для английского языка и американского телекоммуникационного оборудования. Для своей цели он подходил хорошо, но принципиально не подходил для любого языка, кроме английского.

Первые 32 символа ASCII (0–31) и DEL (127) являются управляющими символами. Изначально они предназначались для управления телетайпными аппаратами: LF (перевод строки, 10), CR (возврат каретки, 13), BEL (звуковой сигнал, 7), TAB (9), ESC (27).

В криптографических контекстах управляющие символы могут вызывать проблемы. Нулевой байт (0x00) преждевременно завершает строки C, а символ DEL или ESC может быть интерпретирован эмуляторами терминала.

Разные страны создавали собственные расширения ASCII, используя 8-й бит (значения 128–255), что привело к появлению сотен несовместимых кодировок: ISO-8859-1 (Latin-1) для Западной Европы, KOI-8R для русского языка, Big5 для китайского языка.

Документ, сохраненный в одной кодировке, при открытии с другой выглядит как бессмыслица. Отсутствие универсального стандарта создавало серьезные трудности для международной разработки программного обеспечения на протяжении 1980-х и 1990-х годов.

Unicode был создан для предоставления единого универсального набора символов, охватывающего все системы письменности человечества. В настоящее время он определяет более 149 000 символов, охватывающих 161 письменность, включая исторические письменности и символы.

Unicode отделяет идентичность символа (кодовую точку, например U+0041 для "A") от кодировки (способа хранения этой кодовой точки в байтах). Благодаря такому разделению один и тот же символ можно представить в нескольких форматах кодирования.

UTF-8 кодирует кодовые точки Unicode с помощью от 1 до 4 байтов. Символы ASCII (от U+0000 до U+007F) используют ровно 1 байт, идентичный их значениям ASCII, благодаря чему UTF-8 обратно совместима с ASCII.

Для символов от U+0080 до U+07FF используются 2 байта. Для символов от U+0800 до U+FFFF используются 3 байта (это охватывает большинство распространенных письменностей, включая китайскую, японскую и корейскую). Для U+10000 и выше используются 4 байта.

UTF-16 использует 2 байта для наиболее распространенных символов (базовая многоязычная плоскость, от U+0000 до U+FFFF) и 4 байта (суррогатные пары) для символов за пределами U+FFFF. Эта кодировка используется внутри Windows и Java.

UTF-32 использует ровно 4 байта на каждую кодовую точку, поэтому имеет фиксированную длину и позволяет легко обращаться к символам по их позиции, но неэкономно расходует место для текста, состоящего преимущественно из ASCII. Она используется в некоторых внутренних представлениях для быстрого произвольного доступа.

Маркер порядка байтов (BOM) — это символ Unicode U+FEFF, помещаемый в начало файла для указания порядка байтов и кодировки. В UTF-16 он отличает порядок от старшего байта к младшему (FE FF) от порядка от младшего байта к старшему (FF FE).

В UTF-8 маркер BOM (EF BB BF) не нужен, поскольку у UTF-8 нет проблем с порядком байтов, однако некоторые программы Windows все равно добавляют его. Это вызывает проблемы в криптографических приложениях, где BOM воспринимается как данные, а не как маркер.

Криптографические хеш-функции и коды аутентификации сообщений (MAC) работают с последовательностями байтов, а не с абстрактными символами. Одна и та же строка "café" по-разному кодируется в UTF-8 (4 байта: 63 61 66 C3 A9) и Latin-1 (4 байта: 63 61 66 E9).

Если две системы вычисляют хеш одной и той же строки, используя разные кодировки, они получат разные хеши, и аутентификация завершится неудачно. В криптографических протоколах кодировка должна быть указана явно, чтобы обеспечить совместимость.

Эмодзи — это символы Unicode из дополнительной многоязычной плоскости. Эмодзи "Улыбающееся лицо" (U+1F600) кодируется в UTF-8 4 байтами: F0 9F 98 80.

В контексте безопасности эмодзи и полноширинные символы Unicode использовались в гомографных атаках, когда URL вроде "xn--pple-43d.com" (похожий на "apple.com") обманом заставляет пользователей перейти на вредоносный сайт.

Некоторые символы можно представить в нескольких формах Unicode. «e с акутом» может быть представлена как U+00E9 (предварительно составленный символ) или как U+0065 U+0301 (e, за которым следует комбинируемый акцент, то есть разложенная форма). Визуально они выглядят одинаково, но имеют разные байтовые представления.

Криптографические системы, которые не нормализуют Unicode перед вычислением хеша, могут получать разные хеши для визуально одинаковых строк. Перед выполнением криптографических операций над текстом обычно рекомендуется нормализация NFKC.

При реализации криптографических систем выбор кодировки является критически важным решением и должен быть задокументирован. Перед хешированием пароли следует кодировать в UTF-8. Для полей протокола кодировка должна быть указана в документах спецификации.

Несовместимость из-за несоответствия кодировок — распространенный источник ошибок в криптографических системах. Две реализации одного протокола могут получать разные результаты аутентификации, если по-разному кодируют строки.

Проверьте свое понимание кодировки UTF-8.

ASCII охватывает 128 символов и использует 7 бит. Unicode предоставляет универсальное пространство кодовых точек для всех письменностей человечества. UTF-8 кодирует Unicode с помощью от 1 до 4 байтов, причем ASCII является его 1-байтовым подмножеством.

В криптографии кодировка важна, поскольку хеш-функции работают с байтами. Один и тот же текст в разных кодировках дает разные хеши. Перед выполнением криптографических операций над текстом необходима нормализация Unicode.