Pelatihan Presisi Campuran dengan AMP

Pelatihan dengan presisi campuran menjalankan sebagian besar operasi menggunakan bilangan titik mengambang 16-bit (FP16), bukan 32-bit (FP32). FP16 menggunakan separuh memori dan berjalan lebih cepat pada inti tensor GPU modern, sementara beberapa operasi yang sensitif tetap menggunakan FP32 demi kestabilan.

Presisi campuran memberi Anda:

• penghematan memori sekitar 2x, sehingga memungkinkan kumpulan data atau model yang lebih besar
• Perkalian matriks yang lebih cepat pada inti tensor
• Hanya sedikit atau tidak ada penurunan akurasi model akhir jika dilakukan dengan benar

FP16 memiliki rentang yang sempit. Nilai gradien yang kecil dapat menjadi nol karena terlalu kecil, sehingga pembelajaran berhenti tanpa disadari. Inilah tantangan utama yang harus diatasi presisi campuran dan alasan kita tidak dapat begitu saja mengubah semuanya menjadi FP16.

Automatic Mixed Precision (AMP) dari PyTorch menangani detailnya dengan dua alat: autocast memilih presisi untuk setiap operasi, sedangkan GradScaler mencegah gradien menjadi terlalu kecil.

Bungkus lintasan maju dengan autocast(). Di dalamnya, PyTorch secara otomatis menjalankan setiap operasi dengan presisi yang paling aman: perkalian matriks dalam FP16, sedangkan reduksi seperti softmax dan kerugian dalam FP32.

GradScaler mengatasi gradien yang terlalu kecil dengan mengalikan kerugian menggunakan faktor skala besar sebelum propagasi mundur. Hal ini menggeser gradien kecil ke rentang yang dapat direpresentasikan oleh FP16; skala tersebut dihapus sebelum langkah pengoptimal.

scaler.scale(loss).backward() memperbesar skala kerugian, lalu menjalankan propagasi mundur. Gradien yang dihasilkan juga diskalakan, sehingga nilai kecil tidak menghilang.

scaler.step(optimizer) terlebih dahulu mengembalikan skala gradien ke besarannya yang sebenarnya, lalu memanggil optimizer.step(), tetapi hanya jika tidak ada nilai tak hingga atau NaNs. Jika gradien meluap, langkah tersebut dilewati.

scaler.update() menyesuaikan faktor skala untuk iterasi berikutnya: faktor tersebut diperbesar ketika langkah berhasil dan diperkecil setelah terjadi luapan. Penskalaan adaptif ini menjaga kestabilan pelatihan secara otomatis.

Dengan menggabungkan semua bagian, Anda mendapatkan satu langkah pelatihan dengan presisi campuran yang lengkap.

Ingat hal-hal berikut:

• Hanya panggil backward() pada kerugian yang telah diskalakan
• autocast hanya membungkus lintasan maju, bukan propagasi mundur atau langkah pengoptimal
• AMP sangat bermanfaat pada GPU dengan inti tensor; peningkatannya lebih kecil pada perangkat keras lama

Uji pengetahuan Anda tentang AMP.

Anda telah mempelajari pelatihan dengan presisi campuran menggunakan AMP:

• autocast() memilih FP16 atau FP32 untuk setiap operasi dalam lintasan maju
• GradScaler menskalakan kerugian untuk mencegah gradien menjadi terlalu kecil
• Siklusnya adalah scaler.scale(loss).backward(), scaler.step(optimizer), scaler.update()
• Hasilnya: penghematan memori sekitar 2x dan pelatihan yang lebih cepat