ASCII, Unicode ve Metin Gösterimi

ASCII (Amerikan Bilgi Değişimi Standart Kodu), 1963'te standartlaştırılmıştır ve 7 bitte 128 karakteri (0-127 değerleri) kodlar. İngilizce alfabesini (büyük ve küçük harfleri), rakamları, noktalama işaretlerini ve denetim karakterlerini kapsar.

ASCII, İngilizce ve Amerikan telekomünikasyon ekipmanları için tasarlanmıştı. Amaçlanan kullanımında iyi çalıştı; ancak İngilizce dışındaki diller için temelde yetersizdi.

İlk 32 ASCII karakteri (0-31) ve DEL (127) denetim karakterleridir. Başlangıçta Teleks makinelerini kontrol etmek için tasarlanmışlardı: LF (satır besleme, 10), CR (satır başına dönüş, 13), BEL (zil, 7), TAB (9), ESC (27).

Kriptografik bağlamlarda denetim karakterleri sorun çıkarabilir. Boş değer baytı (0x00), C dizelerini erkenden sonlandırır; DEL veya ESC karakteri ise terminal öykünücüleri tarafından yorumlanabilir.

Farklı ülkeler, 8. biti (128-255 değerleri) kullanarak kendi ASCII uzantılarını oluşturdu ve bunun sonucunda birbiriyle uyumsuz yüzlerce kodlama ortaya çıktı: Batı Avrupa dilleri için ISO-8859-1 (Latin-1), Rusça için KOI-8R ve Çince için Big5.

Bir kodlamayla kaydedilen belge, farklı bir kodlamayla açıldığında anlamsız karakterler olarak görünür. Evrensel bir standardın bulunmaması, 1980'ler ve 1990'lar boyunca uluslararası yazılım geliştirmeyi önemli bir zorluk hâline getirdi.

Unicode, insanların tüm yazı sistemlerini kapsayan tek bir evrensel karakter kümesi sağlamak üzere oluşturuldu. Şu anda tarihî yazı sistemleri ve semboller dahil 161 yazı sistemini kapsayan 149.000'den fazla karakter tanımlar.

Unicode, karakter kimliğini (örneğin "A" için U+0041 gibi bir kod noktası) kodlamadan (bu kod noktasının baytlarda nasıl saklandığından) ayırır. Bu ayrım, aynı karakterleri temsil etmek için birden çok kodlama biçiminin kullanılmasına olanak tanır.

UTF-8, Unicode kod noktalarını 1 ila 4 bayt kullanarak kodlar. ASCII karakterleri (U+0000 ile U+007F arası) tam olarak 1 bayt kullanır; bu baytlar ASCII değerleriyle aynıdır ve UTF-8'i ASCII ile geriye dönük uyumlu kılar.

U+0080 ile U+07FF arasındaki karakterler 2 bayt kullanır. U+0800 ile U+FFFF arasındaki karakterler 3 bayt kullanır (Çince, Japonca ve Korece dahil en yaygın yazı sistemlerinin çoğunu kapsar). U+10000 ve üzerindeki karakterler 4 bayt kullanır.

UTF-16, en yaygın karakterler için (Temel Çok Dilli Düzlem, U+0000 ile U+FFFF arası) 2 bayt, U+FFFF'in üzerindeki karakterler için ise (vekil çiftleri kullanarak) 4 bayt kullanır. Windows ve Java tarafından dahili olarak kullanılır.

UTF-32, kod noktası başına tam olarak 4 bayt kullanır. Bu, onu sabit genişlikli ve karakter konumuna göre dizinlemeyi kolay hâle getirir; ancak çoğunlukla ASCII'den oluşan metinler için verimsizdir. Hızlı rastgele erişim sağlamak amacıyla bazı dahili gösterimlerde kullanılır.

Bayt Sırası İşareti (BOM), bayt sırasını ve kodlamayı belirtmek için bir dosyanın başına yerleştirilen U+FEFF Unicode karakteridir. UTF-16'da büyük uçlu (FE FF) ve küçük uçlu (FF FE) sıralamaları birbirinden ayırır.

UTF-8'de BOM gereksizdir; çünkü UTF-8'de bayt sırası sorunları yoktur. Ancak bazı Windows yazılımları yine de BOM ekler. Bu durum, BOM'un işaret yerine veri olarak ele alındığı kriptografik uygulamalarda sorunlara yol açar.

Kriptografik karma işlevleri ve MAC'ler soyut karakterler üzerinde değil, bayt dizileri üzerinde çalışır. Aynı "café" dizesi UTF-8'de (4 bayt: 63 61 66 C3 A9) ve Latin-1'de (4 bayt: 63 61 66 E9) farklı şekilde kodlanır.

İki sistem aynı dizenin karmasını alır ancak farklı kodlamalar kullanırsa farklı karma değerleri üretir ve kimlik doğrulama başarısız olur. Birlikte çalışabilirliği sağlamak için kripto protokolleri kodlamayı açıkça belirtmelidir.

Emoji, Ek Çok Dilli Düzlem'de yer alan Unicode karakterleridir. "Sırıtan Yüz" emojisi (U+1F600), UTF-8'de 4 bayta kodlanır: F0 9F 98 80.

Güvenlik bağlamlarında emoji ve tam genişlikli Unicode karakterleri, benzer karakter saldırılarında kullanılmıştır. Bu saldırılarda "xn--pple-43d.com" gibi bir URL ("apple.com" gibi görünür) kullanıcıları kandırarak kötü amaçlı bir siteyi ziyaret ettirir.

Bazı karakterler birden çok Unicode biçiminde temsil edilebilir. "Vurgu işaretli e", U+00E9 (önceden birleştirilmiş) veya U+0065 U+0301 (birleştirici vurgudan sonra gelen e, ayrıştırılmış) biçiminde olabilir. Bunlar aynı görünür; ancak farklı bayt gösterimlerine sahiptir.

Karma işlemi öncesinde Unicode'u normalleştirmeyen kriptografik sistemler, görsel olarak aynı olan dizeler için farklı karma değerleri üretebilir. Metne kriptografik işlemler uygulamadan önce NFKC normalleştirmesi yapılması yaygın olarak önerilir.

Kriptografik sistemler uygulanırken kodlama seçimi, belgelenmesi gereken kritik bir karardır. Parolalar, karma işlemi öncesinde UTF-8 olarak kodlanmalıdır. Protokol alanlarının kodlaması, protokol belirtim belgelerinde belirtilmelidir.

Kodlama uyuşmazlıklarının neden olduğu birlikte çalışabilirlik hataları, kriptografik sistemlerde yaygın bir hata kaynağıdır. Aynı protokolün iki uygulaması, dizeleri farklı kodlarsa farklı kimlik doğrulama sonuçları üretebilir.

UTF-8 kodlamasını ne kadar anladığınızı sınayın.

ASCII, 7 bitte 128 karakteri kapsar. Unicode, tüm insan yazı sistemleri için evrensel bir kod noktası alanı sağlar. UTF-8, ASCII'nin 1 baytlık bir alt kümesi olmasıyla birlikte Unicode'u 1-4 bayt kullanarak kodlar.

Kriptografide kodlama önemlidir; çünkü karma işlevleri baytlar üzerinde çalışır. Farklı kodlamalardaki aynı metin farklı karma değerleri üretir. Metin üzerinde kriptografik işlemler gerçekleştirilmeden önce Unicode normalleştirmesi zorunludur.