Deep Learning Academy · บทเรียน

ตรึงแกนหลักแล้วฝึกส่วนหัว

นำคุณลักษณะที่เรียนรู้แล้วกลับมาใช้ด้วยต้นทุนต่ำ

บทเรียน 1 จาก 413 ขั้นตอน

ตรึงแกนหลักแล้วฝึกส่วนหัว เป็นบทเรียน Deep Learning Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน Deep Learning Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส Deep Learning Academy มีบทเรียนทั้งหมด 4 บทเรียน

ยืมสมองอัจฉริยะมาใช้

ทำไมต้องฝึกจากศูนย์ ในเมื่อโมเดลที่ฝึกด้วยภาพนับล้านภาพเรียนรู้คุณลักษณะที่มีประโยชน์ไว้แล้ว การเรียนรู้แบบถ่ายโอนจะนำความรู้นั้นมาใช้กับงานของคุณ 🧠

ส่วนแกนหลักกับส่วนหัว

โมเดลที่ฝึกไว้ล่วงหน้ามีสองส่วน ได้แก่ แกนหลักที่สกัดคุณลักษณะทั่วไป และส่วนหัวที่สร้างการทำนายสุดท้ายสำหรับงานเดิมของโมเดล

แผนการดำเนินงาน

วิธีที่ง่ายที่สุดคือ ตรึงแกนหลักไว้ไม่ให้เปลี่ยน จากนั้นเปลี่ยนเป็นส่วนหัวใหม่และฝึกเฉพาะส่วนนั้นด้วยป้ายกำกับของคุณเอง

โหลดโมเดลที่ฝึกไว้ล่วงหน้า

เริ่มด้วยโมเดลที่มีค่าน้ำหนักที่ดีอยู่แล้ว torchvision มอบสถาปัตยกรรมยอดนิยมให้คุณเรียกใช้ได้ด้วยคำสั่งเดียว

from torchvision import models
model = models.resnet18(weights='DEFAULT')

การตรึงหมายถึงไม่มีการคำนวณเกรเดียนต์

หากต้องการตรึงเลเยอร์ ให้ตั้งค่า requires_grad เป็น False จากนั้น PyTorch จะข้ามการคำนวณเกรเดียนต์สำหรับเลเยอร์นั้น ทำให้ค่าน้ำหนักไม่เปลี่ยนแปลง

for p in model.parameters():
    p.requires_grad = False

ทำไมต้องตรึง

การตรึงแกนหลักช่วยรักษาคุณลักษณะที่สั่งสมมาอย่างยากลำบาก และทำให้มีค่าน้ำหนักที่ต้องอัปเดตน้อยลงมาก จึงทำให้การฝึก เร็วขึ้น และใช้กับข้อมูลจำนวนน้อยได้

เปลี่ยนส่วนหัว

ส่วนหัวเดิมทำนายคลาสไม่ตรงกับที่ต้องการ ให้แทนที่ด้วยเลเยอร์ Linear ใหม่ที่มีขนาดพอดีกับจำนวนคลาสของคุณ

import torch.nn as nn
model.fc = nn.Linear(512, 3)

ส่วนหัวใหม่สามารถฝึกได้

เลเยอร์ที่สร้างใหม่จะเริ่มต้นโดยตั้งค่า requires_grad เป็น True โดยอัตโนมัติ ดังนั้นระหว่างที่แกนหลักถูกตรึงไว้ จะมีเพียงส่วนหัวของคุณที่เรียนรู้

ปรับให้เหมาะสมเฉพาะส่วนหัว

ส่งเฉพาะพารามิเตอร์ของส่วนหัวให้ตัวปรับค่าที่เหมาะสม การอัปเดตค่าน้ำหนักเพียงไม่กี่ค่าเช่นนี้ทำให้วิธีนี้มีต้นทุน ต่ำ

opt = torch.optim.Adam(model.fc.parameters(), lr=1e-3)

แกนหลักกลายเป็นตัวสกัดคุณลักษณะ

เมื่อค่าน้ำหนักถูกตรึงไว้ แกนหลักจะเปลี่ยนภาพแต่ละภาพให้เป็น เวกเตอร์คุณลักษณะที่มีข้อมูลมาก ส่วนหัวของคุณจะเรียนรู้วิธีอ่านคุณลักษณะเหล่านั้น

ช่วงเวลาที่วิธีนี้โดดเด่น

การตรึงแกนหลักแล้วฝึกส่วนหัวเหมาะอย่างยิ่งเมื่อมี ชุดข้อมูลขนาดเล็กหรือทรัพยากรคำนวณจำกัด คุณจะได้ผลลัพธ์ที่ดีภายในไม่กี่นาทีแทนที่จะเป็นหลายวัน

ตรวจสอบความเข้าใจอย่างรวดเร็ว

คุณตรึงแกนหลักและเปลี่ยนส่วนหัวแล้ว ค่าน้ำหนักใดที่อัปเดตจริงระหว่างการฝึก

ตอบคำถามในบทเรียนแบบโต้ตอบ

สรุปทบทวน

คุณเรียนรู้วิธียืม แกนหลักที่ฝึกไว้ล่วงหน้า ตรึงแกนหลักนั้น ติดตั้งส่วนหัวใหม่ และฝึกเฉพาะส่วนหัว วิธีนี้รวดเร็ว ต้นทุนต่ำ และเหมาะกับข้อมูลจำนวนน้อย 🎯

เริ่มต้นได้ฟรี

เรียนรู้ Python ด้วย AI tutor — ฟรี

เขียนและเรียกใช้โค้ดจริงในเบราว์เซอร์ของคุณ รับความช่วยเหลือทันทีจาก AI tutor 24/7 และเรียนรู้ต่อจากที่คุณหยุดบนเว็บหรือในแอป

คอร์ส: 30
บทเรียน: 120

เริ่มเรียนฟรี ดูหลักสูตรเต็ม

คำถามที่พบบ่อย

บทเรียน “ตรึงแกนหลักแล้วฝึกส่วนหัว” ฟรีหรือไม่

ใช่ — ข้อความเต็มของ “ตรึงแกนหลักแล้วฝึกส่วนหัว” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส Deep Learning Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส Deep Learning Academy มีบทเรียนทั้งหมด 4 บทเรียน

คุณจะเรียนรู้อะไรในบทเรียน “ตรึงแกนหลักแล้วฝึกส่วนหัว”

นำคุณลักษณะที่เรียนรู้แล้วกลับมาใช้ด้วยต้นทุนต่ำ คุณปฏิบัติ Deep Learning Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน

คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน Deep Learning Academy หรือไม่

ไม่จำเป็นต้องมีประสบการณ์มาก่อน Deep Learning Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน

บทเรียน “ตรึงแกนหลักแล้วฝึกส่วนหัว” ใช้เวลานานแค่ไหน

บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย

ฉันเขียนและรันโค้ดในบทเรียน Deep Learning Academy นี้ได้ไหม

ได้ บทเรียน Deep Learning Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ

บทเรียนทั้งหมดในหลักสูตรนี้

← กลับไปที่ Deep Learning Academy