ความเสี่ยงจากโมเดล ข้อมูล และห่วงโซ่อุปทาน

แอปพลิเคชัน LLM สร้างขึ้นจากส่วนประกอบของบุคคลที่สามจำนวนมาก ได้แก่ โมเดลพื้นฐาน การปรับแต่งแบบละเอียด ชุดข้อมูล เวกเตอร์ฝัง ปลั๊กอิน และ ส่วนประกอบซอฟต์แวร์ที่ต้องพึ่งพา แต่ละจุดเชื่อมโยงเปิดโอกาสให้ผู้โจมตีแทรกสิ่งที่ทำให้ระบบถูกเจาะได้

ต่างจากซอฟต์แวร์แบบดั้งเดิม อาร์ติแฟกต์ด้านการเรียนรู้ของเครื่องมักเป็นไบนารีขนาดใหญ่ที่ดูรายละเอียดภายในได้ยาก และถูกดึงจากศูนย์รวมสาธารณะที่มีข้อมูลแหล่งที่มาไม่น่าเชื่อถือ ไฟล์น้ำหนักที่ถูกวางยาหรือชุดข้อมูลที่ฝังแบ็กดอร์จึงตรวจพบได้ยากจากการตรวจดูเพียงอย่างเดียว

การรักษาความปลอดภัยของกระบวนการหมายถึงการติดตามและตรวจสอบส่วนประกอบทุกส่วนตั้งแต่ต้นทางจนถึงระบบจริง

การวางยาข้อมูลคือการบิดเบือนข้อมูลฝึกหรือข้อมูลสำหรับการปรับแต่งแบบละเอียด เพื่อทำให้โมเดลที่ได้เสียหาย ผู้โจมตีที่สามารถส่งตัวอย่างข้อมูลฝึกเข้ามาได้แม้เพียงส่วนน้อย อาจเปลี่ยนพฤติกรรมของโมเดลได้อย่างวัดผลได้

• การโจมตีด้านความพร้อมใช้งาน: ทำให้ความแม่นยำโดยรวมลดลง
• การโจมตีแบบเจาะจงเป้าหมาย: ทำให้เกิดการจำแนกผิดในกรณีที่กำหนด
• การโจมตีแบบแบ็กดอร์: ฝังตัวกระตุ้นลับไว้ในโมเดล (ดูฉากถัดไป)

ข้อมูลจากเว็บที่เก็บรวบรวมและเอกสาร RAG ที่ผู้ใช้ส่งเข้ามาเป็นช่องทางทั่วไปสำหรับการวางยา เนื่องจากมีปริมาณมากและผ่านการตรวจสอบเพียงเล็กน้อย

แบ็กดอร์คือการโจมตีด้วยการวางยาที่ทำให้โมเดลทำงานตามปกติ ยกเว้นเมื่อมี ตัวกระตุ้นลับปรากฏในข้อมูลนำเข้า ตัวกระตุ้นอาจเป็นวลีที่พบได้น้อย ลำดับโทเค็น หรือรูปแบบลายน้ำ

ตัวอย่างเช่น โมเดลเติมโค้ดที่ผ่านการปรับแต่งแบบละเอียดด้วยข้อมูลที่ถูกวางยา จะทำงานได้ถูกต้องจนกว่าจะมีคอมเมนต์พิเศษปรากฏ จากนั้นจึงสร้างโค้ดที่ไม่ปลอดภัย แบ็กดอร์ตรวจพบได้ยาก เพราะเกณฑ์ทดสอบมาตรฐานยังดูปกติ

แนวทางป้องกัน: ใช้แหล่งที่มาจากผู้ให้บริการโมเดลที่เชื่อถือได้และลงนามรับรองเท่านั้น เรียกใช้การตรวจจับตัวกระตุ้นและการสแกนความผิดปกติ และปรับแต่งแบบละเอียดด้วยข้อมูลที่ผ่านการตรวจสอบและอยู่ภายใต้การควบคุมของคุณ

น้ำหนักโมเดลไม่ใช่เพียงข้อมูล เพราะรูปแบบบางชนิดสามารถเรียกใช้โค้ดขณะโหลดได้ ภาษาไพธอน pickle (ซึ่งใช้ในไฟล์ .bin และ .pt ของ PyTorch รุ่นเก่า) สามารถเรียกใช้โค้ดใด ๆ ได้ระหว่างการแปลงข้อมูลกลับเป็นวัตถุ

การโหลดโมเดลที่บรรจุในรูปแบบพิกเคิลและไม่น่าเชื่อถือ เทียบเท่ากับการเรียกใช้โปรแกรมที่ไม่น่าเชื่อถือ

• ควรเลือกรูปแบบ เทนเซอร์ปลอดภัย ซึ่งจัดเก็บเฉพาะเทนเซอร์และไม่สามารถเรียกใช้โค้ดได้
• สแกนหรือแยกกักข้อมูลพิกเคิลใด ๆ ที่จำเป็นต้องโหลด
• ถือว่าไฟล์โมเดลจากศูนย์รวมสาธารณะเป็นไบนารีที่ไม่น่าเชื่อถือ

ตรวจสอบว่าอาร์ติแฟกต์ทุกชิ้นมาจากที่ใด และไม่มีการแก้ไขโดยไม่ได้รับอนุญาต

• ระบุเวอร์ชันและฉบับแก้ไขของโมเดลและชุดข้อมูลให้แน่นอน อย่าใช้ latest
• ตรวจสอบ ผลรวมตรวจสอบหรือค่าแฮชกับค่าที่ทราบว่าถูกต้อง
• ควรเลือกอาร์ติแฟกต์ที่มีลายเซ็น และตรวจสอบ ลายเซ็นเมื่อผู้เผยแพร่จัดเตรียมไว้
• จัดทำ บัญชีรายการวัสดุ (BOM) ของการเรียนรู้ของเครื่อง ซึ่งระบุโมเดล ชุดข้อมูล และแหล่งที่มาของสิ่งเหล่านั้น

โมเดลสามารถ จดจำและนำข้อมูลบางส่วนจากข้อมูลฝึกกลับมาเปิดเผยซ้ำภายหลังได้ ซึ่งอาจรวมถึงความลับ PII หรือข้อความที่มีลิขสิทธิ์ ผู้โจมตีใช้ การโจมตีเพื่อดึงข้อมูลออกเพื่อหลอกล่อให้โมเดลเปิดเผยเนื้อหานี้

• ลบ PII และความลับออกจากคลังข้อมูลสำหรับการฝึกและการปรับแต่งแบบละเอียด
• ใช้การกำจัดข้อมูลซ้ำ เพราะการจดจำมีความสัมพันธ์กับตัวอย่างที่ซ้ำกัน
• พิจารณาเทคนิคความเป็นส่วนตัวแบบแตกต่างสำหรับชุดข้อมูลที่มีความละเอียดอ่อน
• ทดสอบโมเดลด้วยการตรวจสอบเพื่อดึงข้อมูลออกก่อนเผยแพร่

การโจมตีความเป็นส่วนตัวสองแบบมุ่งเป้าไปที่โมเดลที่นำไปใช้งานแล้ว:

• การอนุมานสมาชิก: พิจารณาว่าระเบียนใดระเบียนหนึ่งอยู่ในชุดข้อมูลฝึกหรือไม่ การกระทำนี้อาจเป็นการละเมิดความเป็นส่วนตัวได้เอง เช่น ในชุดข้อมูลทางการแพทย์
• การย้อนกลับโมเดล: สร้างข้อมูลนำเข้าสำหรับการฝึกที่เป็นตัวแทนขึ้นใหม่จากพฤติกรรมของโมเดลหรือเวกเตอร์ฝัง

ลดความเสี่ยงด้วยการจำกัดการเปิดเผยคะแนนความเชื่อมั่น เพิ่มการทำให้สม่ำเสมอหรือความเป็นส่วนตัวแบบแตกต่าง และจำกัดการเข้าถึงการสอบถามโมเดลมูลค่าสูงโดยไม่มีข้อจำกัด

ระบบ RAG จัดเก็บ เวกเตอร์ฝังของเอกสารไว้ในฐานข้อมูลเวกเตอร์ ข้อมูลเหล่านี้มีความเสี่ยงของตนเอง:

• การย้อนกลับเวกเตอร์ฝัง: เวกเตอร์ฝังอาจรั่วไหลมากพอที่จะสร้างข้อความต้นทางขึ้นใหม่ได้บางส่วน จึงถือเป็นข้อมูลที่มีความละเอียดอ่อน
• การรั่วไหลข้ามผู้เช่า: การเรียกคืนโดยไม่มีการควบคุมการเข้าถึงอาจแสดงเอกสารของผู้เช่ารายอื่น
• การวางยาดัชนี: เอกสารที่เป็นอันตรายซึ่งเพิ่มลงในดัชนีอาจยึดการเรียกคืนในภายหลังได้ (การแทรกคำสั่งทางอ้อม)

บังคับใช้การควบคุมการเข้าถึงขณะเรียกคืน และตรวจสอบเอกสารก่อนจัดทำดัชนี

นอกเหนือจากโมเดลแล้ว แอปพลิเคชัน LLM ยังพึ่งพาห่วงโซ่อุปทานซอฟต์แวร์ทั่วไป รวมถึงปลั๊กอินและตัวเชื่อมต่อที่มอบความสามารถใหม่ให้โมเดล

• ปลั๊กอินที่เป็นอันตรายหรือถูกเจาะระบบอาจอ่านบริบทและลักลอบนำข้อมูลออกไป
• แพ็กเกจจาก PyPI หรือคลังแพ็กเกจ JavaScript ที่เลียนแบบชื่อด้วยการสะกดผิดหรือถูกยึด อาจฝังแบ็กดอร์ในแอป
• ส่วนที่ต้องพึ่งพาทางอ้อมซึ่งมีช่องโหว่จะขยายพื้นผิวสำหรับการโจมตี

ใช้ไฟล์ล็อก สแกนด้วยเครื่องมือ SCA ตรวจสอบสิทธิ์ของปลั๊กอิน และเลือกแหล่งที่มาที่ผ่านการตรวจสอบและมีลายเซ็นเป็นหลัก

ถือว่ากระบวนการด้านการเรียนรู้ของเครื่องเป็นเส้นทางการบูรณาการและส่งมอบอย่างต่อเนื่องสำหรับระบบจริงเช่นเดียวกับเส้นทางอื่น ๆ และใช้การควบคุมที่เข้มงวด:

• แยกสภาพแวดล้อมสำหรับการฝึกและการปรับแต่งแบบละเอียดออกจากกัน และจำกัดผู้ที่สามารถส่งข้อมูลเข้า
• ลงนามและตรวจสอบอาร์ติแฟกต์ในทุกขั้นตอน ปฏิเสธอาร์ติแฟกต์ที่ไม่มีลายเซ็นหรือไม่ตรงกัน
• ตรวจสอบชุดข้อมูลด้วยการตรวจจับความผิดปกติและการตรวจสอบแหล่งที่มา
• เฝ้าติดตามอย่างต่อเนื่องโมเดลที่นำไปใช้งานแล้ว เพื่อค้นหาการเปลี่ยนแปลงและพฤติกรรมที่ไม่คาดคิด

เฟรมเวิร์กอย่าง MITRE ATLAS และ NIST AI RMF ช่วยจัดโครงสร้างการควบคุมเหล่านี้

ความปลอดภัยของโมเดล ข้อมูล และห่วงโซ่อุปทานมุ่งเน้นที่ ความน่าเชื่อถือและการตรวจสอบตลอดวงจรชีวิตทั้งหมด:

• รู้จักแหล่งที่มาของคุณ ทั้งแหล่งที่มา ลายเซ็น และบัญชีรายการวัสดุ (BOM) ของการเรียนรู้ของเครื่อง
• ถือว่าน้ำหนักโมเดลและชุดข้อมูลอาจเป็นอันตรายจนกว่าจะผ่านการตรวจสอบ
• ปกป้องความเป็นส่วนตัวจากการรั่วไหล การอนุมาน และการย้อนกลับ
• จำกัดส่วนที่ต้องพึ่งพา ปลั๊กอิน และคลังเวกเตอร์อย่างเข้มงวด

จุดที่ประหยัดที่สุดในการหยุดอาร์ติแฟกต์ที่ถูกวางยาคือก่อนที่อาร์ติแฟกต์นั้นจะเข้าสู่กระบวนการของคุณ

โปรดทดสอบความเข้าใจของคุณเกี่ยวกับความปลอดภัยของห่วงโซ่อุปทานโมเดล

ความเสี่ยงของโมเดล ข้อมูล และห่วงโซ่อุปทาน:

• ห่วงโซ่อุปทานการเรียนรู้ของเครื่องครอบคลุมโมเดลพื้นฐาน การปรับแต่งแบบละเอียด ชุดข้อมูล เวกเตอร์ฝัง ปลั๊กอิน และส่วนที่ต้องพึ่งพา
• การวางยาและแบ็กดอร์ทำให้ข้อมูลฝึกเสียหาย จึงควรตรวจสอบและลงนามรับรองแหล่งข้อมูล
• หลีกเลี่ยงรูปแบบ พิกเคิลที่ไม่ปลอดภัย และควรเลือกรูปแบบ เทนเซอร์ปลอดภัยสำหรับน้ำหนักโมเดลที่ไม่น่าเชื่อถือ
• ตรวจสอบ แหล่งที่มาด้วยเวอร์ชัน ผลรวมตรวจสอบ ลายเซ็น และบัญชีรายการวัสดุ (BOM) ของการเรียนรู้ของเครื่อง
• ปกป้องความเป็นส่วนตัวจาก การรั่วไหล การอนุมานสมาชิก และการย้อนกลับ รวมทั้งรักษาความปลอดภัยให้เวกเตอร์ฝังและคลังเวกเตอร์
• จำกัดส่วนที่ต้องพึ่งพาและปลั๊กอินอย่างเข้มงวด และรักษาความปลอดภัยของกระบวนการตั้งแต่ต้นจนจบโดยใช้ ATLAS และ NIST AI RMF เป็นแนวทาง