ASCII, Unicode, dan Representasi Teks

ASCII (American Standard Code for Information Interchange), yang distandardisasi pada tahun 1963, mengodekan 128 karakter dalam 7 bit (nilai 0-127). ASCII mencakup alfabet Inggris (huruf besar dan kecil), angka, tanda baca, serta karakter kontrol.

ASCII dirancang untuk bahasa Inggris dan peralatan telekomunikasi Amerika. ASCII bekerja dengan baik untuk tujuan yang dimaksudkan, tetapi pada dasarnya tidak memadai untuk bahasa apa pun selain bahasa Inggris.

32 karakter ASCII pertama (0-31) ditambah DEL (127) merupakan karakter kontrol. Karakter-karakter tersebut awalnya dirancang untuk mengendalikan mesin Teletype: LF (line feed, 10), CR (carriage return, 13), BEL (bell, 7), TAB (9), ESC (27).

Dalam konteks kriptografi, karakter kontrol dapat menimbulkan masalah. Byte null (0x00) mengakhiri string C lebih awal, sedangkan karakter DEL atau ESC mungkin ditafsirkan oleh emulator terminal.

Berbagai negara membuat perluasan ASCII mereka sendiri menggunakan bit ke-8 (nilai 128-255), sehingga tercipta ratusan pengodean yang tidak kompatibel: ISO-8859-1 (Latin-1) untuk Eropa Barat, KOI-8R untuk bahasa Rusia, dan Big5 untuk bahasa Tionghoa.

Dokumen yang disimpan dalam satu pengodean akan tampak sebagai teks kacau ketika dibuka dengan pengodean lain. Ketiadaan standar universal menjadikan pengembangan perangkat lunak internasional sebagai tantangan besar sepanjang tahun 1980-an dan 1990-an.

Unicode dibuat untuk menyediakan satu kumpulan karakter universal yang mencakup semua sistem tulisan manusia. Saat ini Unicode mendefinisikan lebih dari 149.000 karakter yang mencakup 161 aksara, termasuk aksara dan simbol historis.

Unicode memisahkan identitas karakter (titik kode, seperti U+0041 untuk "A") dari pengodean (cara titik kode tersebut disimpan dalam byte). Pemisahan ini memungkinkan berbagai format pengodean merepresentasikan karakter yang sama.

UTF-8 mengodekan titik kode Unicode menggunakan 1 hingga 4 byte. Karakter ASCII (U+0000 hingga U+007F) menggunakan tepat 1 byte, sama dengan nilai ASCII-nya, sehingga UTF-8 kompatibel dengan ASCII.

Karakter dari U+0080 hingga U+07FF menggunakan 2 byte. U+0800 hingga U+FFFF menggunakan 3 byte (mencakup sebagian besar aksara umum, termasuk aksara Tionghoa, Jepang, dan Korea). U+10000 dan seterusnya menggunakan 4 byte.

UTF-16 menggunakan 2 byte untuk karakter yang paling umum (Basic Multilingual Plane, U+0000 hingga U+FFFF) dan 4 byte (pasangan surrogate) untuk karakter di luar U+FFFF. UTF-16 digunakan secara internal oleh Windows dan Java.

UTF-32 menggunakan tepat 4 byte per titik kode, sehingga lebarnya tetap dan pengindeksan berdasarkan posisi karakter menjadi mudah, tetapi boros untuk teks yang sebagian besar berupa ASCII. UTF-32 digunakan dalam beberapa representasi internal untuk akses acak yang cepat.

Byte Order Mark (BOM) adalah karakter Unicode U+FEFF yang ditempatkan di awal berkas untuk menunjukkan urutan byte dan pengodean. Dalam UTF-16, BOM membedakan big-endian (FE FF) dari little-endian (FF FE).

Dalam UTF-8, BOM (EF BB BF) tidak diperlukan karena UTF-8 tidak memiliki masalah urutan byte, tetapi beberapa perangkat lunak Windows tetap menambahkannya. Hal ini menimbulkan masalah dalam aplikasi kriptografi karena BOM diperlakukan sebagai data, bukan penanda.

Fungsi hash kriptografis dan MAC beroperasi pada rangkaian byte, bukan karakter abstrak. String yang sama, "café", dikodekan secara berbeda dalam UTF-8 (4 byte: 63 61 66 C3 A9) dan Latin-1 (4 byte: 63 61 66 E9).

Jika dua sistem melakukan hash pada string yang sama tetapi menggunakan pengodean yang berbeda, keduanya akan menghasilkan hash yang berbeda dan autentikasi akan gagal. Protokol kripto harus menentukan pengodean secara eksplisit untuk memastikan interoperabilitas.

Emoji adalah karakter Unicode dalam Supplementary Multilingual Plane. Emoji "Grinning Face" (U+1F600) dikodekan menjadi 4 byte dalam UTF-8: F0 9F 98 80.

Dalam konteks keamanan, emoji dan karakter Unicode berdimensi penuh telah digunakan dalam serangan homograf, ketika URL seperti "xn--pple-43d.com" (yang tampak seperti "apple.com") menipu pengguna agar mengunjungi situs berbahaya.

Beberapa karakter dapat direpresentasikan dalam berbagai bentuk Unicode. "e dengan aksen akut" dapat berupa U+00E9 (prakomposisi) atau U+0065 U+0301 (e diikuti aksen gabungan, dekomposisi). Keduanya tampak identik, tetapi memiliki representasi byte yang berbeda.

Sistem kriptografi yang tidak menormalisasi Unicode sebelum melakukan hash dapat menghasilkan hash yang berbeda untuk string yang tampak identik. Normalisasi NFKC umumnya disarankan sebelum menerapkan operasi kriptografi pada teks.

Saat menerapkan sistem kriptografi, pilihan pengodean merupakan keputusan penting yang harus didokumentasikan. Kata sandi harus dikodekan sebagai UTF-8 sebelum dilakukan hashing. Ruas protokol harus menentukan pengodean dalam dokumen spesifikasinya.

Kegagalan interoperabilitas yang disebabkan oleh ketidakcocokan pengodean merupakan sumber bug yang umum dalam sistem kriptografi. Dua implementasi dari protokol yang sama dapat menghasilkan hasil autentikasi yang berbeda jika keduanya mengodekan string dengan cara yang berbeda.

ASCII mencakup 128 karakter dalam 7 bit. Unicode menyediakan ruang titik kode universal untuk semua aksara manusia. UTF-8 mengodekan Unicode dalam 1-4 byte, dengan ASCII sebagai subset 1 byte.

Dalam kriptografi, pengodean penting karena fungsi hash beroperasi pada byte. Teks yang sama dalam pengodean berbeda menghasilkan hash yang berbeda. Normalisasi Unicode sangat penting sebelum melakukan operasi kriptografi pada teks.