Sayısal Kararlılık Uzlaşmaları

Düşük duyarlıklı Tensor Core işlemleri hızlıdır, ancak daha az bit yuvarlama hataları anlamına gelir. Sayısal kararlılık, sonuçları güvenilir tutma sanatıdır. ⚖️

Her düşük duyarlıklı değer, temsil edilebilen en yakın sayıya yuvarlanır. Bu küçük yuvarlama hatası tek seferde önemsizdir, ancak çok sayıda adımda birikebilir.

FP16'nin dar aralığı küçük sayıların sıfıra düşmesine neden olur; buna alt taşması denir. Gradyanlar ve çok küçük ağırlıklar eğitim sırasında tamamen kaybolabilir.

Aynı dar aralık üst taşmasına da yol açar: büyük bir değer sonsuza dönüşür. Ardından tek bir hatalı toplam, sonraki her şeyi bozabilir.

Yaygın bir çözüm kayıp ölçeklemedir: FP16 işlemlerinden önce değerleri büyüterek alt taşması bölgesinden çıkarmak, ardından tekrar küçültmektir.

Tensor Core'lar biriktirme işlemini FP32'de gerçekleştirir; bunun bir nedeni vardır. Daha geniş biriktirici, binlerce küçük toplamanın ciddi biçimde sapmasını önler.

BF16, FP32'nin üssünü koruduğu için nadiren üst veya alt taşma yaşar. Zayıf yönü daralmış bir aralık değil, daha düşük duyarlıktır.

Birbirine yakın iki sayıyı çıkarmak, baştaki basamakları yok eder; buna iptal denir. Düşük duyarlık, geriye kalan hatayı çok daha görünür kılar.

Güvenli bir yaklaşım karışık duyarlılıktır: büyük ölçekli çarpmaları FP16 veya BF16 ile yapın, ancak hassas toplamları, normları ve güncellemeleri FP32'de tutun.

Hızlı bir çekirdeğin doğru olduğunu asla varsaymayın. Bir FP32 başvuru sonucuyla karşılaştırın ve hatanın kabul edilebilir bir tolerans içinde kaldığını denetleyin.

Basit bir denetim, güvenilir bir sonuca göre mutlak farkı hesaplamaktır. Bu hatayı seçtiğiniz küçük bir eşikle karşılaştırın.

Duyarlık ödünleşimlerini öğrendiniz: FP16 üst ve alt taşmalarına dikkat edin, kayıp ölçekleme ile FP32 biriktirmesini kullanın ve her zaman bir başvuru sonucuna göre doğrulama yapın. 🎯