Pertukaran Kestabilan Berangka

Matematik Tensor Core berketepatan rendah adalah pantas, tetapi bit yang lebih sedikit bermakna ralat pembundaran. Kestabilan berangka ialah seni memastikan hasil kekal boleh dipercayai. ⚖️

Setiap nilai berketepatan rendah dibundarkan kepada nombor terdekat yang boleh diwakili. Ralat pembundaran kecil itu tidak berbahaya sekali sahaja tetapi boleh terkumpul selepas banyak langkah.

Julat FP16 yang sempit menyebabkan nombor kecil menjadi sifar, yang dipanggil aliran bawah. Kecerunan dan pemberat kecil boleh hilang begitu sahaja semasa latihan.

Julat sempit yang sama menyebabkan limpahan: nilai besar menjadi infiniti. Satu jumlah yang salah kemudiannya boleh merosakkan semua hasil seterusnya.

Pembaikan yang biasa digunakan ialah penskalaan kehilangan: gandakan nilai sebelum pengiraan FP16 supaya nilai tersebut keluar daripada zon aliran bawah, kemudian kecilkan semula selepas itu.

Tensor Cores mengumpulkan hasil dalam FP32 atas sebab tertentu. Pengumpul yang lebih lebar itu menghalang ribuan penambahan kecil daripada tersasar dengan ketara.

Oleh sebab BF16 mengekalkan eksponen FP32, ia jarang mengalami limpahan atau aliran bawah. Kelemahannya ialah ketepatan yang lebih rendah, bukannya julat yang mengecil.

Menolak dua nombor yang hampir sama menghapuskan digit pendahulu, yang dipanggil pembatalan. Ketepatan rendah menjadikan ralat yang tinggal jauh lebih ketara.

Pola yang selamat ialah ketepatan bercampur: lakukan pendaraban utama dalam FP16 atau BF16, tetapi kekalkan jumlah, norma dan kemas kini yang sensitif dalam FP32.

Jangan sekali-kali menganggap kernel yang pantas itu betul. Bandingkan dengan rujukan FP32 dan semak bahawa ralat kekal dalam toleransi yang boleh diterima.

Semakan mudah ialah perbezaan mutlak berbanding hasil yang dipercayai. Bandingkan ralat ini dengan ambang kecil yang Anda pilih.

Anda telah mempelajari pertukaran ketepatan: awasi limpahan dan aliran bawah FP16, gunakan penskalaan kehilangan dan pengumpulan FP32, serta sentiasa sahkan berbanding rujukan. 🎯