การแบ่งพาร์ทิชันบันทึกเพื่อความเร็วและประหยัดค่าใช้จ่าย
จัดระเบียบข้อมูลเพื่อให้การสืบสวนทำงานเร็วขึ้นและมีค่าใช้จ่ายน้อยลง
การแบ่งพาร์ทิชันบันทึกเพื่อความเร็วและประหยัดค่าใช้จ่าย เป็นบทเรียน AWS Security Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน AWS Security Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส AWS Security Academy มีบทเรียนทั้งหมด 4 บทเรียน
ต้นทุนของการสแกน
เนื่องจาก Athena คิดค่าบริการตาม ข้อมูลที่สแกน การคิวรีบันทึกตลอดหนึ่งปีเพื่อค้นหาเหตุการณ์ของวันเดียวจึงสิ้นเปลืองทั้งเงินและเวลา การแบ่งพาร์ทิชัน เป็นเทคนิคที่ช่วยให้ Athena อ่านเฉพาะส่วนข้อมูลที่เกี่ยวข้อง ทำให้คิวรีเร็วขึ้นและมีค่าใช้จ่ายลดลงอย่างมาก นี่คือการเพิ่มประสิทธิภาพ Athena ที่สำคัญที่สุด
พาร์ทิชันคืออะไร
พาร์ทิชันจะแบ่งข้อมูลของตารางตามค่าของคอลัมน์หนึ่งคอลัมน์หรือมากกว่า โดยมักเป็นองค์ประกอบของวันที่ที่จับคู่กับคำนำหน้า S3 บันทึก CloudTrail จัดวางไว้ตาม ภูมิภาค/ปี/เดือน/วัน อยู่แล้ว ดังนั้นการแบ่งพาร์ทิชันตามค่าเหล่านี้จึงสอดคล้องกับโครงสร้างทางกายภาพ และช่วยให้ Athena ข้ามโฟลเดอร์ที่อยู่นอกขอบเขตคิวรีได้
การตัดพาร์ทิชันที่ไม่เกี่ยวข้อง
เมื่อคิวรีกรองด้วยคอลัมน์พาร์ทิชัน Athena จะทำ การตัดพาร์ทิชัน โดยอ่านเฉพาะคำนำหน้าที่ตรงกันและไม่สนใจส่วนที่เหลือ คิวรีของวันเดียวที่ใช้พาร์ทิชันอย่างถูกต้องจะสแกนบักเก็ตเพียงส่วนน้อย หากไม่มีการตัดพาร์ทิชัน คิวรีเดียวกันจะสแกนทุกอย่าง แม้แต่ข้อมูลที่ไม่มีทางจำเป็นต้องใช้
การเพิ่มพาร์ทิชันด้วยตนเอง
วิธีหนึ่งในการลงทะเบียนพาร์ทิชันคือ ALTER TABLE ADD PARTITION ซึ่งจะจับคู่ค่าพาร์ทิชันกับตำแหน่ง S3 วิธีนี้ใช้งานได้ แต่ยุ่งยากสำหรับข้อมูลบันทึกรายวัน เพราะคุณต้องเพิ่มพาร์ทิชันทุกวัน เหมาะสำหรับการโหลดข้อมูลย้อนหลังแบบครั้งเดียว แต่ไม่สามารถรองรับบันทึกที่เพิ่มขึ้นอย่างต่อเนื่องได้ดี
การคาดการณ์พาร์ทิชัน
การคาดการณ์พาร์ทิชันเป็นแนวทางสมัยใหม่ที่แนะนำให้ใช้ โดยคุณบอก Athena ถึงรูปแบบพาร์ทิชัน เช่น วันที่ในช่วงที่กำหนด แล้ว Athena จะคำนวณคำนำหน้าขณะคิวรีโดยไม่ต้องจัดเก็บพาร์ทิชันแต่ละรายการไว้ในแค็ตตาล็อก สำหรับข้อมูล CloudTrail และบันทึกโฟลว์ที่เพิ่มขึ้นอย่างต่อเนื่อง วิธีนี้ช่วยหลีกเลี่ยงการดูแลรักษาเป็นประจำและทำให้การตัดพาร์ทิชันเป็นอัตโนมัติ
TBLPROPERTIES (
'projection.enabled'='true',
'projection.dt.type'='date',
'projection.dt.range'='2023/01/01,NOW',
'projection.dt.format'='yyyy/MM/dd'
)โปรแกรมรวบรวมข้อมูล Glue สำหรับพาร์ทิชัน
โปรแกรมรวบรวมข้อมูล Glue ยังสามารถค้นหาพาร์ทิชันใหม่ตามกำหนดเวลาและเพิ่มพาร์ทิชันเหล่านั้นลงในแค็ตตาล็อกได้ วิธีนี้ทำให้การจัดการพาร์ทิชันสำหรับข้อมูลที่เปลี่ยนแปลงเป็นอัตโนมัติ แต่สำหรับโครงสร้างตามวันที่ที่คาดเดาได้ การคาดการณ์พาร์ทิชันมักเรียบง่ายกว่าและไม่มีค่าใช้จ่ายของโปรแกรมรวบรวมข้อมูล
รูปแบบคอลัมน์ช่วยเพิ่มการประหยัด
การแบ่งพาร์ทิชันจะจำกัดว่าอ่านไฟล์ใดบ้าง ส่วน รูปแบบข้อมูลแบบคอลัมน์ เช่น Parquet จะจำกัดว่าภายในไฟล์เหล่านั้นจะอ่านคอลัมน์ใดบ้าง การใช้ทั้งสองวิธีร่วมกัน โดยแปลงบันทึกเป็น Parquet และแบ่งพาร์ทิชันตามวันที่ อาจลดข้อมูลที่สแกนลงได้หลายลำดับขนาด หลายทีมจึงใช้กระบวนการแปลงเพื่อจัดเก็บสำเนาบันทึกปริมาณสูงที่ปรับให้เหมาะกับการคิวรี
การบีบอัด
การบีบอัดข้อมูลบันทึกด้วยรูปแบบอย่าง GZIP หรือ Snappy จะช่วยลดไบต์ที่สแกนและค่าใช้จ่ายในการจัดเก็บเพิ่มเติม Athena อ่านไฟล์ที่บีบอัดได้โดยอัตโนมัติ เมื่อใช้ร่วมกับการแบ่งพาร์ทิชันและการจัดเก็บแบบคอลัมน์ การบีบอัดจะเติมเต็มชุดเทคนิคสามประการที่ทำให้การวิเคราะห์บันทึกขนาดใหญ่มีค่าใช้จ่ายที่เหมาะสม
การออกแบบพาร์ทิชันเพื่อความปลอดภัย
สำหรับบันทึกด้านความปลอดภัย ให้แบ่งพาร์ทิชันตาม วันที่ เป็นหลัก เนื่องจากการสืบสวนมีขอบเขตเวลา และพิจารณาแบ่งตาม บัญชีหรือภูมิภาค สำหรับบันทึกขององค์กร เพื่อให้คุณระบุเป้าหมายเป็นบัญชีเดียวได้อย่างรวดเร็ว คีย์พาร์ทิชันที่เหมาะสมควรสะท้อนวิธีที่การสืบสวนของคุณใช้กรองข้อมูลจริง เพื่อเพิ่มประสิทธิภาพการตัดพาร์ทิชันสำหรับคิวรีจริงให้สูงสุด
การตรวจดูตัวชี้วัดการสแกน
Athena รายงาน ข้อมูลที่สแกน ต่อคิวรี การดูตัวชี้วัดนี้ช่วยบอกว่าการแบ่งพาร์ทิชันทำงานได้หรือไม่ คิวรีที่แบ่งพาร์ทิชันและจำกัดเวลาอย่างเหมาะสมควรสแกนระดับเมกะไบต์ ไม่ใช่เทราไบต์ หากคิวรีสแกนมากกว่าที่คาดไว้มาก ตัวกรองของคุณอาจไม่สอดคล้องกับคอลัมน์พาร์ทิชัน
การประกอบการเพิ่มประสิทธิภาพเข้าด้วยกัน
ลำดับการเพิ่มประสิทธิภาพคือใช้ พาร์ทิชัน เพื่อข้ามข้อมูลที่ไม่เกี่ยวข้อง ใช้ รูปแบบข้อมูลแบบคอลัมน์ เพื่ออ่านเฉพาะคอลัมน์ที่จำเป็น และใช้ การบีบอัด เพื่อลดจำนวนไบต์ เมื่อนำไปใช้กับ CloudTrail และบันทึกโฟลว์ เทคนิคเหล่านี้จะเปลี่ยนการสแกนที่อาจช้าและมีค่าใช้จ่ายสูงให้เป็นการสืบสวนที่รวดเร็วและประหยัด ซึ่งตรงกับความต้องการของการวิเคราะห์ความปลอดภัยขนาดใหญ่
ตรวจสอบความเข้าใจอย่างรวดเร็ว
ทดสอบความรู้เกี่ยวกับการแบ่งพาร์ทิชันของคุณ
สรุปทบทวน
การแบ่งพาร์ทิชันจะแบ่งข้อมูลตารางตามคอลัมน์ (โดยทั่วไปคือวันที่) เพื่อให้ Athena ทำ การตัดพาร์ทิชัน และสแกนเฉพาะคำนำหน้าที่เกี่ยวข้อง ซึ่งช่วยลดค่าใช้จ่ายและเวลา ควรเลือกใช้ การคาดการณ์พาร์ทิชัน แทน ADD PARTITION ด้วยตนเองหรือโปรแกรมรวบรวมข้อมูลสำหรับบันทึกที่เพิ่มขึ้น ใช้พาร์ทิชันร่วมกับ Parquet แบบคอลัมน์ และ การบีบอัด เพื่อประหยัดค่าใช้จ่ายอย่างมาก แบ่งพาร์ทิชันบันทึกความปลอดภัยตาม วันที่ และ บัญชี และติดตามตัวชี้วัด ข้อมูลที่สแกน
คำถามที่พบบ่อย
บทเรียน “การแบ่งพาร์ทิชันบันทึกเพื่อความเร็วและประหยัดค่าใช้จ่าย” ฟรีหรือไม่
ใช่ — ข้อความเต็มของ “การแบ่งพาร์ทิชันบันทึกเพื่อความเร็วและประหยัดค่าใช้จ่าย” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส AWS Security Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส AWS Security Academy มีบทเรียนทั้งหมด 4 บทเรียน
คุณจะเรียนรู้อะไรในบทเรียน “การแบ่งพาร์ทิชันบันทึกเพื่อความเร็วและประหยัดค่าใช้จ่าย”
จัดระเบียบข้อมูลเพื่อให้การสืบสวนทำงานเร็วขึ้นและมีค่าใช้จ่ายน้อยลง คุณปฏิบัติ AWS Security Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน
คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน AWS Security Academy หรือไม่
ไม่จำเป็นต้องมีประสบการณ์มาก่อน AWS Security Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน
บทเรียน “การแบ่งพาร์ทิชันบันทึกเพื่อความเร็วและประหยัดค่าใช้จ่าย” ใช้เวลานานแค่ไหน
บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย
ฉันเขียนและรันโค้ดในบทเรียน AWS Security Academy นี้ได้ไหม
ได้ บทเรียน AWS Security Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ
บทเรียนทั้งหมดในหลักสูตรนี้
- การสอบถามบันทึก S3 ด้วย Athena
- การสร้างตารางครอบข้อมูล CloudTrail
- การสืบสวนเหตุการณ์ด้วยคำสั่ง SQL
- การแบ่งพาร์ทิชันบันทึกเพื่อความเร็วและประหยัดค่าใช้จ่าย