ทำควอนไทซ์และกลั่นโมเดลเพื่อให้อนุมานถูกลง

แบบจำลองที่เล็กลงต้องใช้หน่วยความจำน้อยลงและฮาร์ดแวร์ที่ถูกลงในการให้บริการ การบีบอัดแบบจำลองช่วยลดขนาดและต้นทุน โดยยังคงความแม่นยำส่วนใหญ่ที่คุณพยายามสร้างไว้

การควอนไทซ์จัดเก็บน้ำหนักด้วยบิตที่น้อยลง เช่น int8 แทน float32 แบบจำลองจะมีขนาดเล็กลงประมาณสี่เท่า และมักทำงานเร็วขึ้นบนชิปเดิม

วิธีที่ง่ายที่สุดคือควอนไทซ์แบบจำลองที่ฝึกเสร็จแล้วโดยไม่ต้องฝึกใหม่ การควอนไทซ์หลังการฝึกทำได้ด้วยการเรียกใช้ฟังก์ชันเพียงครั้งเดียว โดยความแม่นยำลดลงเล็กน้อย

การป้อนชุดข้อมูลจริงสองสามชุดช่วยให้การควอนไทซ์เลือกช่วงค่าที่เหมาะสมได้ ขั้นตอน การปรับเทียบนี้ช่วยรักษาความแม่นยำให้สูงกว่าการแปลงแบบไม่ตรวจสอบ

เมื่อความแม่นยำสำคัญที่สุด คุณจะจำลองการคำนวณแบบ int8 ระหว่างการฝึกจริง การฝึกที่คำนึงถึงการควอนไทซ์ใช้ความพยายามมากกว่า แต่ช่วยกู้คืนความแม่นยำส่วนใหญ่ที่สูญเสียไป

การกลั่นความรู้ฝึกแบบจำลองนักเรียนขนาดเล็กให้เลียนแบบแบบจำลองครูขนาดใหญ่ แบบจำลองนักเรียนยังคงความสามารถส่วนใหญ่ของครูไว้ได้ด้วยต้นทุนเพียงบางส่วน

แบบจำลองนักเรียนเรียนรู้จากผลลัพธ์ความน่าจะเป็นทั้งหมดของครู ไม่ใช่เพียงคำตอบตายตัว ป้ายกำกับแบบ นุ่มเหล่านี้มีสัญญาณที่ละเอียดกว่าคลาสเดียว

การกลั่นความรู้ทำให้คุณเปลี่ยนแบบจำลองขนาดใหญ่เป็นแบบจำลองที่กระชับกว่าได้ เช่น ใช้ DistilBERT แทน BERT แบบจำลองนักเรียนที่เล็กลงหมายถึงเวลาแฝงที่ต่ำลงและอินสแตนซ์สำหรับให้บริการที่เล็กลง

การตัดแต่งจะลบน้ำหนักที่แทบไม่ส่งผลต่อผลลัพธ์ออก ทำให้ได้โครงข่ายที่เบาและมีการเชื่อมต่อเบาบางขึ้น วิธีนี้ใช้ร่วมกับการควอนไทซ์และการกลั่นความรู้ได้ดี

การลดขนาดทุกครั้งมีความเสี่ยงต่อความแม่นยำ ดังนั้นให้ทดสอบแบบจำลองที่บีบอัดแล้วกับข้อมูลจริง ดูเส้นโค้ง ความแม่นยำเทียบกับต้นทุน และหยุดก่อนที่คุณภาพจะลดลงมากเกินไป

แบบจำลองที่บีบอัดแล้วทำงานร่วมกับรันไทม์ที่รวดเร็วอย่าง ONNX Runtimeได้ดี ส่งออกเพียงครั้งเดียว แล้วให้บริการอาร์ติแฟกต์ที่เล็กลงบนฮาร์ดแวร์ราคาถูกกว่า

คุณได้ลดจำนวนบิตของน้ำหนักด้วยการควอนไทซ์ กลั่นแบบจำลองนักเรียนขนาดเล็กจากครูขนาดใหญ่ และตัดน้ำหนักที่ไม่ทำงานออก โดยติดตามการแลกเปลี่ยนด้านความแม่นยำไปพร้อมกัน 🪶