Pertukaran Stabilitas Numerik

Perhitungan Tensor Core berpresisi lebih rendah memang cepat, tetapi bit yang lebih sedikit berarti kesalahan pembulatan. Stabilitas numerik adalah seni menjaga agar hasil tetap dapat dipercaya. ⚖️

Setiap nilai berpresisi rendah dibulatkan ke angka terdekat yang dapat direpresentasikan. Kesalahan pembulatan kecil tersebut tidak berbahaya sekali saja, tetapi dapat menumpuk setelah banyak langkah.

Rentang FP16 yang sempit membuat angka kecil jatuh menjadi nol, yang disebut underflow. Gradien dan bobot yang sangat kecil dapat menghilang begitu saja selama pelatihan.

Rentang sempit yang sama menyebabkan overflow: nilai besar berubah menjadi tak terhingga. Satu jumlah yang buruk kemudian dapat merusak semua hasil berikutnya.

Perbaikan yang umum adalah penskalaan loss: kalikan nilai terlebih dahulu sebelum perhitungan FP16 agar nilainya keluar dari zona underflow, lalu skalakan kembali setelahnya.

Tensor Cores melakukan akumulasi dalam FP32 karena suatu alasan. akumulator yang lebih lebar itu mencegah ribuan penjumlahan kecil melenceng terlalu jauh.

Karena BF16 mempertahankan eksponen FP32, BF16 jarang mengalami overflow atau underflow. Kelemahannya adalah presisi yang lebih rendah, bukan rentang yang menyempit.

Mengurangkan dua angka yang berdekatan menghapus digit-digit awal; proses ini disebut pembatalan. Presisi rendah membuat error yang tersisa jauh lebih terlihat.

Pola yang aman adalah presisi campuran: lakukan perkalian dalam jumlah besar dengan FP16 atau BF16, tetapi pertahankan penjumlahan, norma, dan pembaruan yang sensitif dalam FP32.

Jangan pernah menganggap kernel yang cepat pasti benar. Bandingkan dengan referensi FP32 dan pastikan error tetap berada dalam toleransi yang dapat diterima.

Pemeriksaan sederhana adalah selisih absolut terhadap hasil tepercaya. Bandingkan error ini dengan ambang kecil yang Anda pilih.

Anda telah mempelajari kompromi presisi: waspadai overflow dan underflow FP16, gunakan penskalaan loss dan akumulasi FP32, serta selalu lakukan validasi terhadap referensi. 🎯