ASCII, Unicode og tekstrepræsentation

ASCII (American Standard Code for Information Interchange), der blev standardiseret i 1963, koder 128 tegn med 7 bit (værdier fra 0 til 127). Det omfatter det engelske alfabet (store og små bogstaver), cifre, tegnsætningstegn og kontroltegn.

ASCII blev udviklet til engelsk og amerikansk telekommunikationsudstyr. Det fungerede godt til det tilsigtede formål, men var grundlæggende utilstrækkeligt til alle andre sprog end engelsk.

De første 32 ASCII-tegn (0-31) samt DEL (127) er kontroltegn. De blev oprindeligt udviklet til at styre Teletype-maskiner: LF (linjeskift, 10), CR (vognretur, 13), BEL (klokke, 7), TAB (9), ESC (27).

I kryptografiske sammenhænge kan kontroltegn give problemer. En nulbyte (0x00) afslutter C-strenge for tidligt, og et DEL- eller ESC-tegn kan blive fortolket af terminalemulatorer.

Forskellige lande oprettede deres egne udvidelser af ASCII ved at bruge den 8. bit (værdier fra 128 til 255), hvilket skabte hundredvis af inkompatible kodninger: ISO-8859-1 (Latin-1) til vesteuropæiske sprog, KOI-8R til russisk og Big5 til kinesisk.

Et dokument, der er gemt med én kodning, ser ud som volapyk, når det åbnes med en anden kodning. Manglen på en universel standard gjorde international softwareudvikling til en betydelig udfordring i 1980'erne og 1990'erne.

Unicode blev oprettet for at levere ét universelt tegnsæt, der dækker alle menneskelige skriftsystemer. Det definerer i øjeblikket over 149.000 tegn fordelt på 161 skriftsystemer, herunder historiske skriftsystemer og symboler.

Unicode adskiller tegnets identitet (et kodepunkt, f.eks. U+0041 for "A") fra kodningen (hvordan dette kodepunkt gemmes i bytes). Denne adskillelse gør det muligt for flere kodningsformater at repræsentere de samme tegn.

UTF-8 koder Unicode-kodepunkter ved hjælp af 1 til 4 bytes. ASCII-tegn (U+0000 til U+007F) bruger præcis 1 byte, som er identisk med deres ASCII-værdier, så UTF-8 er bagudkompatibel med ASCII.

Tegn fra U+0080 til U+07FF bruger 2 bytes. U+0800 til U+FFFF bruger 3 bytes (hvilket dækker de fleste almindelige skriftsystemer, herunder kinesisk, japansk og koreansk). U+10000 og opefter bruger 4 bytes.

UTF-16 bruger 2 bytes til de mest almindelige tegn (det grundlæggende flersprogede plan, U+0000 til U+FFFF) og 4 bytes (surrogatpar) til tegn over U+FFFF. Det bruges internt af Windows og Java.

UTF-32 bruger præcis 4 bytes pr. kodepunkt, hvilket gør formatet fast i bredden og nemt at indeksere efter tegnposition, men spildagtigt for tekst, der hovedsageligt består af ASCII. Det bruges i nogle interne repræsentationer for at give hurtig tilfældig adgang.

Markeringen af byterækkefølge (BOM) er Unicode-tegnet U+FEFF, som placeres i begyndelsen af en fil for at angive byterækkefølge og kodning. I UTF-16 skelner den mellem big-endian (FE FF) og little-endian (FF FE).

I UTF-8 er BOM'en unødvendig, eftersom UTF-8 ikke har problemer med byterækkefølge, men noget Windows-software tilføjer den alligevel. Det giver problemer i kryptografiske applikationer, hvor BOM'en behandles som data i stedet for som en markør.

Kryptografiske hashfunktioner og MAC'er arbejder på bytesekvenser, ikke abstrakte tegn. Den samme streng "café" kodes forskelligt i UTF-8 (4 bytes: 63 61 66 C3 A9) og Latin-1 (4 bytes: 63 61 66 E9).

Hvis to systemer hasher den samme streng, men bruger forskellige kodninger, producerer de forskellige hashværdier, og autentificeringen mislykkes. Kryptografiske protokoller skal angive kodningen eksplicit for at sikre interoperabilitet.

Emoji er Unicode-tegn i det supplerende flersprogede plan. Emoji-tegnet "Grinning Face" (U+1F600) kodes til 4 bytes i UTF-8: F0 9F 98 80.

I sikkerhedssammenhænge er emoji og Unicode-tegn i fuld bredde blevet brugt i homografangreb, hvor en URL som "xn--pple-43d.com" (der ligner "apple.com") lokker brugere til at besøge et ondsindet websted.

Nogle tegn kan repræsenteres på flere måder i Unicode. "e med akut accent" kan være U+00E9 (forudkomponeret) eller U+0065 U+0301 (e efterfulgt af en kombinerende accent, dekomponeret). De ser identiske ud, men har forskellige byterepresentationer.

Kryptografiske systemer, der ikke normaliserer Unicode før hashing, kan producere forskellige hashværdier for visuelt identiske strenge. NFKC-normalisering anbefales ofte, før der udføres kryptografiske operationer på tekst.

Når du implementerer kryptografiske systemer, er valget af kodning en kritisk beslutning, som skal dokumenteres. Adgangskoder bør kodes som UTF-8 før hashing. Protokolfelter bør angive kodningen i deres specifikationsdokumenter.

Interoperabilitetsfejl på grund af uoverensstemmelser i kodningen er en almindelig kilde til fejl i kryptografiske systemer. To implementeringer af den samme protokol kan give forskellige autentificeringsresultater, hvis de koder strenge forskelligt.

ASCII dækker 128 tegn med 7 bit. Unicode leverer et universelt kodepunktsområde til alle menneskelige skriftsystemer. UTF-8 koder Unicode med 1-4 bytes, hvor ASCII udgør et undersæt på 1 byte.

I kryptografi er kodning vigtig, fordi hashfunktioner arbejder på bytes. Den samme tekst i forskellige kodninger giver forskellige hashværdier. Unicode-normalisering er afgørende før kryptografiske operationer på tekst.