الدقة المختلطة: FP16 وBF16 وTF32

تحصل Tensor Cores على سرعتها من الدقة المختلطة، إذ تُدخل صيغ أرقام أصغر كي تتمكن العتادة من تنفيذ عمليات حسابية أكثر بكثير في كل دورة. ⚡

تستخدم FP32 القياسية 32 بت لكل قيمة. وهي دقيقة لكنها كبيرة، ولذلك يستهلك نقل وضرب أعداد FP32 كثيرة عرض النطاق الترددي والوقت.

تستخدم FP16 16 بت فقط: أسًّا أصغر وعددًا أقل من بتات الجزء العشري. ويعني الحجم المنخفض نقل قيم أكثر وضربها في الوقت نفسه.

توفر FP16 المساحة، لكن أسّها الضيق يمنحها نطاقًا ديناميكيًا صغيرًا جدًا. وقد تفيض القيم الكبيرة أو الصغيرة جدًا، أو تختفي فتصبح صفرًا.

تستخدم BF16 أيضًا 16 بت، لكنها تحتفظ بالأس الكامل لـ FP32، وتستبدل بذلك بعض بتات الجزء العشري. وهي تطابق نطاق FP32 بدقة أقل.

لأن BF16 تشارك FP32 نطاقها الواسع، نادرًا ما تفيض التدرجات. لذلك تُعد BF16 خيارًا مفضلًا لتدريب الشبكات العصبية الكبيرة بأمان.

إن TF32 صيغة من Tensor Core بحجم 19 بت: تستخدم أس FP32 مع جزء عشري مختصر. وهي تسرّع العمليات الحسابية مع ظهورها كـ FP32 في التعليمات البرمجية.

بغض النظر عن صيغة الإدخال، تجمع Tensor Cores عادةً المجاميع الجزئية في FP32. فالسرعة تأتي من المدخلات، بينما يأتي الأمان من المجموع الجاري.

الفكرة الأساسية: تستهلك FP16 وBF16 العدد نفسه، وهو 16 بت، لكنهما تقسمانه بطريقة مختلفة. فإحداهما تفضّل الدقة، والأخرى تفضّل النطاق.

استخدم BF16 أو TF32 عندما يكون النطاق مهمًا، واستخدم FP16 عندما تتمكن من إدارة التحجيم. تعتمد الصيغة المناسبة على بياناتك، لا على السرعة وحدها.

في CUDA C++ يملك نوع FP16 اسمًا مختصرًا. يصرّح هذا السطر عن قيمة half واحدة جاهزة لحسابات Tensor Core.

رأيت كيف تساوم الدقة المختلطة على البتات مقابل الإنتاجية: تفضّل FP16 الدقة، وتفضّل BF16 النطاق، وتسرّع TF32 العمليات الحسابية بأسلوب FP32. ويحافظ التجميع الواسع على سلامة النتائج. ✨