ASCII, Unicode e representação de texto

ASCII (Código Padrão Americano para o Intercâmbio de Informações), padronizado em 1963, codifica 128 caracteres em 7 bits (valores de 0 a 127). Ele abrange o alfabeto inglês (maiúsculas e minúsculas), algarismos, sinais de pontuação e caracteres de controle.

O ASCII foi projetado para o inglês e para equipamentos de telecomunicações norte-americanos. Funcionava bem para sua finalidade original, mas era fundamentalmente inadequado para qualquer idioma além do inglês.

Os primeiros 32 caracteres ASCII (0 a 31), mais DEL (127), são caracteres de controle. Eles foram originalmente projetados para controlar máquinas Teletype: LF (avanço de linha, 10), CR (retorno de carro, 13), BEL (campainha, 7), TAB (9), ESC (27).

Em contextos criptográficos, os caracteres de controle podem causar problemas. Um byte nulo (0x00) encerra prematuramente as cadeias de caracteres em C, e um caractere DEL ou ESC pode ser interpretado por emuladores de terminal.

Diferentes países criaram suas próprias extensões do ASCII usando o 8º bit (valores de 128 a 255), criando centenas de codificações incompatíveis: ISO-8859-1 (Latin-1) para a Europa Ocidental, KOI-8R para o russo e Big5 para o chinês.

Um documento salvo em uma codificação parece um amontoado de caracteres sem sentido quando é aberto com uma codificação diferente. A ausência de um padrão universal tornou o desenvolvimento internacional de software um desafio significativo durante as décadas de 1980 e 1990.

O Unicode foi criado para fornecer um único conjunto universal de caracteres que abrange todos os sistemas de escrita humanos. Atualmente, ele define mais de 149.000 caracteres que abrangem 161 sistemas de escrita, incluindo sistemas históricos e símbolos.

O Unicode separa a identidade do caractere (um ponto de código, como U+0041 para "A") da codificação (a forma como esse ponto de código é armazenado em bytes). Essa separação permite que vários formatos de codificação representem os mesmos caracteres.

O UTF-8 codifica pontos de código Unicode usando de 1 a 4 bytes. Os caracteres ASCII (de U+0000 a U+007F) usam exatamente 1 byte, idêntico aos seus valores ASCII, tornando o UTF-8 compatível retroativamente com o ASCII.

Os caracteres de U+0080 a U+07FF usam 2 bytes. Os caracteres de U+0800 a U+FFFF usam 3 bytes (abrangendo a maioria dos sistemas de escrita comuns, incluindo chinês, japonês e coreano). U+10000 em diante usam 4 bytes.

O UTF-16 usa 2 bytes para os caracteres mais comuns (o Plano Multilíngue Básico, de U+0000 a U+FFFF) e 4 bytes (pares substitutos) para caracteres além de U+FFFF. Ele é usado internamente pelo Windows e pelo Java.

O UTF-32 usa exatamente 4 bytes por ponto de código, tornando-o de largura fixa e fácil de indexar pela posição do caractere, mas desperdiçando espaço em textos compostos principalmente por ASCII. Ele é usado em algumas representações internas para permitir acesso aleatório rápido.

A marca de ordem dos bytes (BOM) é o caractere Unicode U+FEFF colocado no início de um arquivo para indicar a ordem dos bytes e a codificação. No UTF-16, ela distingue a ordem do byte mais significativo primeiro da ordem do byte menos significativo primeiro (FE FF e FF FE).

No UTF-8, a BOM (EF BB BF) é desnecessária, pois o UTF-8 não apresenta problemas de ordem dos bytes, mas alguns softwares do Windows ainda a adicionam. Isso causa problemas em aplicações criptográficas, nas quais a BOM é tratada como dado, e não como marcador.

As funções de resumo criptográfico e os códigos de autenticação de mensagens operam em sequências de bytes, não em caracteres abstratos. A mesma cadeia de caracteres "café" é codificada de forma diferente em UTF-8 (4 bytes: 63 61 66 C3 A9) e em Latin-1 (4 bytes: 63 61 66 E9).

Se dois sistemas calcularem o resumo da mesma cadeia de caracteres, mas usarem codificações diferentes, eles produzirão resumos diferentes e a autenticação falhará. Os protocolos criptográficos devem especificar explicitamente a codificação para garantir a interoperabilidade.

Os emoji são caracteres Unicode do Plano Multilíngue Suplementar. O emoji "Rosto sorridente" (U+1F600) é codificado em 4 bytes no UTF-8: F0 9F 98 80.

Em contextos de segurança, emoji e caracteres Unicode de largura total têm sido usados em ataques de homógrafos, nos quais uma URL como "xn--pple-43d.com" (que se parece com "apple.com") engana os usuários para que visitem um site malicioso.

Alguns caracteres podem ser representados de várias formas Unicode. O "e com acento agudo" pode ser U+00E9 (pré-composto) ou U+0065 U+0301 (e seguido de acento combinante, decomposto). Eles parecem idênticos, mas têm representações diferentes em bytes.

Sistemas criptográficos que não normalizam o Unicode antes de calcular resumos podem produzir resumos diferentes para cadeias de caracteres visualmente idênticas. A normalização NFKC é normalmente recomendada antes de aplicar operações criptográficas ao texto.

Ao implementar sistemas criptográficos, a escolha da codificação é uma decisão crítica que deve ser documentada. As senhas devem ser codificadas como UTF-8 antes do cálculo do resumo. Os campos do protocolo devem especificar a codificação em seus documentos de especificação.

As falhas de interoperabilidade causadas por incompatibilidades de codificação são uma fonte comum de erros em sistemas criptográficos. Duas implementações do mesmo protocolo podem produzir resultados de autenticação diferentes se codificarem as cadeias de caracteres de forma diferente.

Teste sua compreensão da codificação UTF-8.

O ASCII abrange 128 caracteres em 7 bits. O Unicode fornece um espaço universal de pontos de código para todos os sistemas de escrita humanos. O UTF-8 codifica o Unicode em 1 a 4 bytes, tendo o ASCII como subconjunto de 1 byte.

Na criptografia, a codificação é importante porque as funções de resumo operam em bytes. O mesmo texto em codificações diferentes produz resumos diferentes. A normalização Unicode é essencial antes de operações criptográficas no texto.