API OpenSSL: Struktur Inti dan Jebakan

API EVP (Envelope) adalah antarmuka tingkat tinggi OpenSSL untuk operasi kriptografi dan merupakan API yang tepat untuk digunakan dalam kode aplikasi. API ini mengabstraksikan detail khusus algoritma di balik antarmuka yang konsisten, mendukung akselerasi perangkat keras melalui engine dan provider secara otomatis, serta menangani padding dan detail mode dengan benar. API tingkat rendah OpenSSL yang khusus untuk algoritma sudah usang dalam versi modern dan sebaiknya dihindari.

Enkripsi simetris dalam OpenSSL menggunakan objek konteks EVP_CIPHER_CTX. Urutan operasinya adalah: EVP_CIPHER_CTX_new untuk mengalokasikan konteks, EVP_EncryptInit_ex untuk menginisialisasinya dengan sandi dan kunci, EVP_EncryptUpdate secara berulang untuk memproses data, EVP_EncryptFinal_ex untuk menyelesaikan blok terakhir dan mengambil keluaran yang tersisa, serta EVP_CIPHER_CTX_free untuk membebaskan memori. Melewati EncryptFinal_ex adalah kesalahan umum yang menghasilkan keluaran terpotong.

Pembuatan intisari pesan menggunakan EVP_MD_CTX dengan cara yang serupa: EVP_MD_CTX_new, EVP_DigestInit_ex dengan algoritma (EVP_sha256(), EVP_sha3_256(), dan sebagainya), EVP_DigestUpdate dengan potongan data, serta EVP_DigestFinal_ex untuk mengambil nilai hash. Operasi HMAC menggunakan HMAC_CTX terpisah atau API EVP_MAC yang lebih baru. Abstraksi EVP memungkinkan penggantian algoritma hash hanya dengan mengubah satu pemanggilan fungsi.

EVP_PKEY adalah objek kunci asimetris terpadu dalam OpenSSL yang mendukung RSA, ECDSA, Ed25519, DH, dan algoritma lainnya melalui satu antarmuka. Kunci dibuat dari berkas PEM atau DER menggunakan PEM_read_PrivateKey dan PEM_read_PUBKEY, atau dihasilkan dengan EVP_PKEY_keygen. EVP_PKEY_sign dan EVP_PKEY_verify melakukan penandatanganan dan verifikasi untuk semua jenis kunci menggunakan pemanggilan fungsi yang sama.

BIO (I/O Dasar) adalah lapisan abstraksi masukan/keluaran OpenSSL yang memungkinkan pembacaan dan penulisan data yang dilindungi TLS atau data mentah melalui rangkaian objek BIO. Rangkaian BIO dapat berupa BIO_new_ssl (lapisan TLS) yang dirangkai dengan BIO_new_connect (koneksi TCP). Penulisan ke BIO SSL secara otomatis mengenkripsi dan mengirim data; pembacaan mendekripsi data yang diterima. Objek BIO mendukung berkas, soket, penyangga memori, dan penyaring (base64, penyanggaan).

Koneksi TLS dalam OpenSSL menggunakan dua objek: SSL_CTX (konteks) menyimpan konfigurasi bersama: sertifikat, kunci privat, paket CA, batas versi protokol, dan daftar sandi. SSL mewakili satu koneksi yang berasal dari konteks tersebut. Buat satu SSL_CTX untuk setiap aplikasi, lalu buat objek SSL darinya untuk setiap koneksi. SSL_read dan SSL_write memindahkan teks biasa; OpenSSL menangani seluruh pembingkaian dan enkripsi TLS secara internal.

Kesalahan OpenSSL yang paling berbahaya adalah mengabaikan nilai kembalian. EVP_EncryptFinal_ex, SSL_read, dan SSL_write semuanya mengembalikan nilai negatif atau nol untuk menunjukkan kesalahan. Memanggil SSL_read dalam perulangan tanpa memeriksa SSL_get_error dapat menyebabkan perulangan tanpa akhir atau membuat kesalahan terlewat. Nilai kembalian setiap fungsi OpenSSL yang dapat gagal harus diperiksa; kegagalan sering menunjukkan kondisi yang relevan dengan keamanan, seperti kegagalan proses jabat tangan atau kesalahan validasi sertifikat.

SSL_read dan SSL_write dapat mengembalikan SSL_ERROR_WANT_READ atau SSL_ERROR_WANT_WRITE, yang menunjukkan bahwa operasi harus dicoba lagi setelah menunggu I/O. Ini bukan kesalahan sebenarnya, melainkan pemberitahuan I/O non-pemblokiran. Kode yang tidak memanggil SSL_get_error dan tidak bercabang dengan benar berdasarkan want-read/want-write akan terus melakukan perulangan sibuk atau keliru memperlakukan kondisi tersebut sebagai kesalahan. Selalu gunakan SSL_get_error untuk menafsirkan nilai kembalian negatif dari operasi I/O TLS.

OpenSSL memiliki banyak fungsi tingkat rendah yang sudah usang dan tidak boleh muncul dalam kode baru: pemanggilan langsung ke DES_encrypt1, penggunaan langsung fungsi hash SHA1 atau MD5 tanpa lapisan EVP, RSA_private_encrypt sebagai pengganti EVP_PKEY_sign, serta AES_encrypt (AES ECB tanpa autentikasi). API-API ini melewati pemeriksaan keamanan, menggunakan algoritma yang sudah usang, atau sekadar kurang aman daripada padanan EVP-nya. Peringatan kompilator sering menandai penggunaan API yang sudah usang.

OpenSSL menggunakan pengelolaan memori eksplisit; setiap objek yang dialokasikan harus dibebaskan secara eksplisit. Kebocoran memori yang umum meliputi lupa memanggil EVP_CIPHER_CTX_free setelah enkripsi, tidak memanggil SSL_free setelah menutup koneksi, atau tidak memanggil X509_free setelah verifikasi sertifikat. Pada server yang berjalan dalam waktu lama, kebocoran ini menyebabkan memori terkuras secara bertahap. Gunakan alat seperti valgrind atau AddressSanitizer untuk mendeteksi kebocoran memori OpenSSL selama pengembangan.

OpenSSL 3.0 memperkenalkan model provider yang menggantikan API ENGINE lama untuk akselerasi perangkat keras. Provider adalah modul yang dapat dimuat dan mengimplementasikan algoritma kriptografi: provider default (perangkat lunak), provider legacy (algoritma lama), provider FIPS (divalidasi berdasarkan FIPS 140-2), serta provider pihak ketiga untuk HSM. Provider FIPS memungkinkan operasi yang sesuai standar dengan membatasi algoritma yang tersedia hanya pada algoritma yang disetujui FIPS 140-2, tanpa mengubah kode aplikasi.

Mengapa API EVP OpenSSL lebih diutamakan daripada API tingkat rendah yang khusus untuk algoritma?

Ringkasan API OpenSSL: selalu gunakan API tingkat tinggi EVP, EVP_CIPHER_CTX untuk operasi simetris, EVP_MD_CTX untuk pembuatan hash, EVP_PKEY untuk kunci asimetris, rangkaian BIO untuk abstraksi masukan/keluaran, SSL_CTX dan SSL untuk koneksi TLS, selalu periksa nilai kembalian dan panggil SSL_get_error, bebaskan semua objek yang dialokasikan untuk mencegah kebocoran, hindari fungsi tingkat rendah yang sudah usang, serta gunakan provider OpenSSL 3.0 untuk kepatuhan FIPS atau akselerasi perangkat keras.