ASCII, Unicode och textrepresentation

ASCII (American Standard Code for Information Interchange), som standardiserades 1963, kodar 128 tecken med 7 bitar (värdena 0–127). Det omfattar det engelska alfabetet (versaler och gemener), siffror, skiljetecken och kontrolltecken.

ASCII utformades för engelska och amerikansk telekommunikationsutrustning. Det fungerade bra för sitt avsedda ändamål, men var i grunden otillräckligt för alla språk utom engelska.

De första 32 ASCII-tecknen (0–31) samt DEL (127) är kontrolltecken. De utformades ursprungligen för att styra Teletype-maskiner: LF (radmatning, 10), CR (vagnretur, 13), BEL (signal, 7), TAB (9) och ESC (27).

I kryptografiska sammanhang kan kontrolltecken orsaka problem. En nullbyte (0x00) avslutar C-strängar i förtid, och ett DEL- eller ESC-tecken kan tolkas av terminalemulatorer.

Olika länder skapade egna utökningar av ASCII genom att använda den åttonde biten (värdena 128–255), vilket gav hundratals inkompatibla kodningar: ISO-8859-1 (Latin-1) för västeuropeiska språk, KOI-8R för ryska och Big5 för kinesiska.

Ett dokument som sparats med en kodning ser ut som obegriplig text när det öppnas med en annan kodning. Bristen på en universell standard gjorde internationell programvaruutveckling till en betydande utmaning under hela 1980- och 1990-talen.

Unicode skapades för att tillhandahålla en enda universell teckenuppsättning som täcker alla mänskliga skriftsystem. Den definierar för närvarande över 149 000 tecken som täcker 161 skriftsystem, inklusive historiska skriftsystem och symboler.

Unicode skiljer teckenidentitet (en kodpunkt, till exempel U+0041 för "A") från kodning (hur kodpunkten lagras i byte). Denna uppdelning gör det möjligt för flera kodningsformat att representera samma tecken.

UTF-8 kodar Unicode-kodpunkter med 1 till 4 byte. ASCII-tecken (U+0000 till U+007F) använder exakt 1 byte, identisk med deras ASCII-värden, vilket gör UTF-8 bakåtkompatibelt med ASCII.

Tecken från U+0080 till U+07FF använder 2 byte. U+0800 till U+FFFF använder 3 byte (vilket omfattar de flesta vanliga skriftsystem, däribland kinesiska, japanska och koreanska). U+10000 och högre använder 4 byte.

UTF-16 använder 2 byte för de vanligaste tecknen (Basic Multilingual Plane, U+0000 till U+FFFF) och 4 byte (surrogatpar) för tecken över U+FFFF. Det används internt av Windows och Java.

UTF-32 använder exakt 4 byte per kodpunkt, vilket gör det till en kodning med fast bredd som är enkel att indexera utifrån teckenposition. Däremot är den slösaktig för text som huvudsakligen består av ASCII. Den används i vissa interna representationer för snabb slumpmässig åtkomst.

Byte Order Mark (BOM) är Unicode-tecknet U+FEFF som placeras i början av en fil för att ange byteordning och kodning. I UTF-16 skiljer det big-endian (FE FF) från little-endian (FF FE).

I UTF-8 är BOM (EF BB BF) onödigt eftersom UTF-8 inte har problem med byteordning, men viss Windows-programvara lägger ändå till det. Det orsakar problem i kryptografiska tillämpningar där BOM behandlas som data i stället för som en markör.

Kryptografiska hashfunktioner och MAC:ar arbetar med bytesekvenser, inte abstrakta tecken. Samma sträng, "café", kodas olika i UTF-8 (4 byte: 63 61 66 C3 A9) och Latin-1 (4 byte: 63 61 66 E9).

Om två system hashar samma sträng men använder olika kodningar får de olika hashvärden, och autentiseringen misslyckas. Kryptografiska protokoll måste ange kodningen uttryckligen för att säkerställa interoperabilitet.

Emoji är Unicode-tecken i Supplementary Multilingual Plane. Emoji-symbolen "Grinning Face" (U+1F600) kodas till 4 byte i UTF-8: F0 9F 98 80.

I säkerhetssammanhang har emoji och Unicode-tecken med full bredd använts i homografattacker, där en URL som "xn--pple-43d.com" (som ser ut som "apple.com") lurar användare att besöka en skadlig webbplats.

Vissa tecken kan representeras i flera Unicode-former. "e med akut accent" kan vara U+00E9 (förkomponerat) eller U+0065 U+0301 (e följt av kombinerande accent, dekomponerat). De ser identiska ut men har olika byte-representationer.

Kryptografiska system som inte normaliserar Unicode före hashing kan ge olika hashvärden för visuellt identiska strängar. NFKC-normalisering rekommenderas ofta innan kryptografiska operationer utförs på text.

Vid implementering av kryptografiska system är valet av kodning ett kritiskt beslut som måste dokumenteras. Lösenord bör kodas som UTF-8 innan de hashas. Protokollfält bör ange kodningen i protokollspecifikationen.

Interoperabilitetsfel som orsakas av kodningsskillnader är en vanlig källa till buggar i kryptografiska system. Två implementationer av samma protokoll kan ge olika autentiseringsresultat om de kodar strängar på olika sätt.

ASCII omfattar 128 tecken med 7 bitar. Unicode tillhandahåller ett universellt kodpunktsutrymme för alla mänskliga skriftsystem. UTF-8 kodar Unicode med 1–4 byte, där ASCII är en delmängd på 1 byte.

I kryptografi är kodning viktig eftersom hashfunktioner arbetar med byte. Samma text i olika kodningar ger olika hashvärden. Unicode-normalisering är nödvändig före kryptografiska operationer på text.