LLMOps แตกต่างจาก MLOps แบบดั้งเดิมอย่างไร
พรอมต์ บริบท และความไม่กำหนดแน่นอนเปลี่ยนวิธีทำงานทั้งหมด
LLMOps แตกต่างจาก MLOps แบบดั้งเดิมอย่างไร เป็นบทเรียน MLOps Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน MLOps Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
MLOps รูปแบบใหม่
คุณรู้จัก MLOps อยู่แล้ว LLMOps คือแนวปฏิบัติเดียวกันที่มุ่งเน้นโมเดลภาษาขนาดใหญ่ ซึ่งพรอมต์และบริบทมีความสำคัญพอ ๆ กับน้ำหนักของโมเดล 🤖
โดยมากไม่ต้องฝึกโมเดล
ใน ML แบบดั้งเดิม คุณฝึกโมเดล แต่ใน LLMOps โดยทั่วไปคุณจะเรียกใช้โมเดลที่ฝึกไว้ล่วงหน้าผ่าน API ดังนั้นงานหลักของคุณจึงเปลี่ยนไปเป็นการเขียนพรอมต์และการจัดการลำดับงาน
พรอมต์คือโปรแกรม
โมเดลเดียวกันอาจให้คำตอบแตกต่างกันอย่างมากตามถ้อยคำที่ใช้ ในที่นี้ พรอมต์จึงกลายเป็นชิ้นงานสำคัญที่คุณจัดการเวอร์ชัน ทดสอบ และตรวจทานเช่นเดียวกับโค้ด
prompt = "Summarize this support ticket in one sentence:\n\n{ticket}"
response = client.responses.create(model="gpt-4o", input=prompt)ผลลัพธ์ไม่กำหนดตายตัว
ส่งพรอมต์เดิมสองครั้งก็อาจได้ข้อความต่างกัน คุณสมบัติไม่กำหนดตายตัวนี้หมายความว่าคุณไม่สามารถยืนยันความเท่ากันแบบตรงตัวเหมือนการทดสอบแบบดั้งเดิมได้
อุณหภูมิควบคุมความสุ่ม
คุณปรับค่าอุณหภูมิเพื่อแลกเปลี่ยนความสร้างสรรค์กับความสม่ำเสมอ ค่าที่ต่ำลงให้ผลลัพธ์ที่คงเส้นคงวามากขึ้น ทำให้การประเมินและการแก้จุดบกพร่องง่ายขึ้นมาก
response = client.responses.create(
model="gpt-4o", input=prompt, temperature=0.0)บริบทคือฟีเจอร์ใหม่ของคุณ
โมเดลแบบดั้งเดิมอ่านฟีเจอร์ในรูปแบบตาราง แอป LLM จะนำเอกสารและประวัติเข้ามาไว้ในหน้าต่างบริบท ดังนั้นวิศวกรรมบริบทจึงเข้ามาแทนที่วิศวกรรมฟีเจอร์
การประเมินไม่ชัดเจนตายตัว
คุณไม่สามารถคำนวณความแม่นยำจากข้อความอิสระได้โดยตรง LLMOps จึงอาศัยการให้คะแนนด้วยเกณฑ์ให้คะแนน คำตอบอ้างอิง หรือโมเดลอื่นที่ทำหน้าที่เป็นผู้ตัดสิน
โทเค็นเท่ากับเงิน
ทุกคำขอคิดค่าบริการตามจำนวนโทเค็นขาเข้าและขาออก การติดตามการใช้โทเค็นจึงกลายเป็นเมตริกการดำเนินงานหลัก เพราะต้นทุนเพิ่มขึ้นโดยตรงตามปริมาณการใช้งาน
usage = response.usage
print(usage.input_tokens, usage.output_tokens)ความหน่วงอยู่ที่โมเดล
การสร้างผลลัพธ์ใช้เวลานานและแปรผันตามความยาวของผลลัพธ์ ความหน่วงขึ้นอยู่กับจำนวนโทเค็นที่โมเดลสร้าง ดังนั้นการส่งคำตอบแบบสตรีมจึงช่วยให้ผู้ใช้ได้รับประสบการณ์ที่ดี
ความปลอดภัยต้องมาก่อน
LLM อาจสร้างข้อมูลหลอนหรือทำข้อมูลรั่วไหลได้ LLMOps จึงเพิ่มระบบป้องกันสำหรับอินพุตและเอาต์พุตเป็นชั้นมาตรฐาน ไม่ใช่สิ่งที่ค่อยนึกถึงภายหลัง
วงจรเดิม เครื่องมือใหม่
การนำไปใช้งาน การตรวจติดตาม และการปรับปรุงยังคงเหมือนเดิม สิ่งที่เปลี่ยนคือเครื่องมือ ได้แก่ ระบบจัดเก็บพรอมต์ การติดตามการทำงาน การประเมิน และระบบป้องกันที่เข้ามาเสริมชุดเครื่องมือ MLOps ที่คุณคุ้นเคย
ตรวจสอบอย่างรวดเร็ว
คุณส่งพรอมต์เดียวกันสองครั้งและได้คำตอบต่างกันสองแบบ คุณสมบัตินี้เรียกว่าอะไร
สรุปทบทวน
คุณได้เห็นแล้วว่า LLMOps เปลี่ยนจุดเน้นจากการฝึกโมเดลไปสู่พรอมต์ บริบท ผลลัพธ์ที่ไม่กำหนดตายตัว โทเค็น และความปลอดภัย วงจรชีวิตเดิม เครื่องมือใหม่ เริ่มต้นได้ดีมาก! 🎉
คำถามที่พบบ่อย
บทเรียน “LLMOps แตกต่างจาก MLOps แบบดั้งเดิมอย่างไร” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “LLMOps แตกต่างจาก MLOps แบบดั้งเดิมอย่างไร” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส MLOps Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส MLOps Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “LLMOps แตกต่างจาก MLOps แบบดั้งเดิมอย่างไร”
พรอมต์ บริบท และความไม่กำหนดแน่นอนเปลี่ยนวิธีทำงานทั้งหมด คุณปฏิบัติ MLOps Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน MLOps Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน MLOps Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 1 จากทั้งหมด 4 บทเรียน
บทเรียน “LLMOps แตกต่างจาก MLOps แบบดั้งเดิมอย่างไร” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน MLOps Academy นี้ได้ไหม
ได้ บทเรียน MLOps Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- LLMOps แตกต่างจาก MLOps แบบดั้งเดิมอย่างไร
- จัดเวอร์ชันพรอมต์และประเมินเอาต์พุต
- ติดตามและตรวจสอบการเรียกใช้ LLM
- เกราะป้องกันและการประเมิน RAG