requires_grad และกราฟการคำนวณ

การฝึกจำเป็นต้องใช้อนุพันธ์ แต่คุณไม่ต้องคำนวณด้วยตนเอง ระบบ autograd ของ PyTorch จะติดตามการคำนวณของคุณและหาเกรเดียนต์ทุกค่าให้ 🤖

tensor จะมีค่า gradient ก็ต่อเมื่อคุณร้องขอเท่านั้น ให้ตั้งค่า requires_grad เป็น true แล้ว PyTorch จะเริ่มบันทึกทุกการดำเนินการที่ทำกับ tensor นั้น

ขั้นตอนทางคณิตศาสตร์แต่ละขั้นบน tensor ที่ติดตามอยู่จะถูกบันทึกเป็นโหนด เมื่อนำโหนดเหล่านี้มารวมกันจะกลายเป็น กราฟการคำนวณ ซึ่งอธิบายว่าผลลัพธ์ของคุณถูกสร้างขึ้นอย่างไร

ลองนึกว่ากราฟเป็นสูตรอาหาร โดยมีอินพุตอยู่ด้านบน การดำเนินการอยู่ตรงกลาง และ loss สุดท้ายของคุณอยู่ด้านล่าง Autograd จะอ่านกราฟย้อนกลับเพื่อค้นหา gradients

PyTorch ใช้กราฟแบบ ไดนามิก ซึ่งสร้างขึ้นขณะที่โค้ดทำงาน ไม่ได้สร้างไว้ล่วงหน้า ลูปและคำสั่ง if ปกติของ Python จึงทำงานภายในกราฟได้ตามปกติ

tensor ใดก็ตามที่สร้างจาก tensor ที่กำลังติดตามอยู่ ก็จะถูกติดตามด้วย ในที่นี้ y จะจดจำว่ามาจาก x ดังนั้น grad_fn ของมันจึงชี้ย้อนกลับไปยังขั้นตอนการยกกำลังสองนั้น

tensor ที่คุณสร้างขึ้นโดยตรงคือโหนด ใบไม้ ส่วน tensor ที่ได้จากการดำเนินการคือโหนดภายใน ซึ่งเชื่อมโยงย้อนกลับไปยังโหนดใบไม้เหล่านั้น

tensor ที่คำนวณแล้วทุกตัวจะมี grad_fn ซึ่งบอก autograd ว่าการดำเนินการใดสร้าง tensor นั้นขึ้นมา เช่น PowBackward หรือ AddBackward ส่วนโหนดใบไม้จะไม่มี grad_fn

หาก tensor มีค่า requires_grad เป็น false autograd จะไม่สนใจ tensor นั้นและจะไม่สร้างกราฟขึ้นมา วิธีนี้ช่วยประหยัดหน่วยความจำเมื่อคุณไม่ต้องการ gradients

กราฟเป็นสิ่งที่ทำให้การส่งย้อนกลับทำได้ หากไม่มี ประวัติที่บันทึกไว้ PyTorch ก็จะไม่สามารถทราบได้ว่า loss ขึ้นอยู่กับ weight แต่ละตัวอย่างไร

จุดเด่นคือคุณเขียนโค้ดเฉพาะคณิตศาสตร์แบบ ไปข้างหน้าเท่านั้น Autograd จะประกอบกราฟให้เงียบ ๆ ทำให้ gradients พร้อมใช้งานทันทีที่คุณร้องขอ

ตั้งค่า requires_grad แล้ว PyTorch จะบันทึกการคำนวณของคุณลงในกราฟการคำนวณ ประวัติที่บันทึกไว้นี้คือสิ่งที่ autograd จะอ่านย้อนกลับในภายหลังเพื่อค้นหา gradient ทุกค่า ✨