Pandas & NumPy Academy · บทเรียน

การสรุปข้อค้นพบในรายงาน

รวบรวมข้อมูลเชิงลึกสำคัญเป็นสรุป markdown ที่มีโครงสร้าง พร้อมการอ้างอิงภาพประกอบและขั้นตอนถัดไปที่นำไปปฏิบัติได้

การสรุปข้อค้นพบในรายงาน เป็นบทเรียน Pandas & NumPy Academy ฟรีบน CoddyKit นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน คุณสามารถอ่านบทเรียนทั้งหมดด้านล่างฟรี — จากนั้นลองปฏิบัติด้วยตัวคุณเองในเบราว์เซอร์พร้อมตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7 บทเรียนนี้เป็นส่วนหนึ่งของเส้นทางการเรียน Pandas & NumPy Academy และความก้าวหน้าของคุณจะซิงค์ข้ามเว็บและแอป CoddyKit คอร์ส Pandas & NumPy Academy มีบทเรียนทั้งหมด 4 บทเรียน

เหตุใดรายงาน EDA ที่มีโครงสร้างจึงสำคัญ

สมุดบันทึก Jupyter ดิบที่มีแผนภาพและเซลล์โค้ดหลายร้อยรายการนั้นแบ่งปันได้ยากสำหรับผู้มีส่วนได้ส่วนเสียที่ต้องนำข้อค้นพบไปดำเนินการ รายงานสรุป EDA ที่มีโครงสร้างจะกลั่นกรองข้อมูลเชิงลึกที่สำคัญที่สุดจากการวิเคราะห์ตัวแปรเดียวและแบบสองตัวแปรทั้งหมดให้เป็นเรื่องราวที่เข้าใจง่าย รายงานที่ดีจะแยก ข้อค้นพบ (ข้อมูลแสดงอะไร) ออกจาก นัยสำคัญ (ควรดำเนินการอย่างไร) และใส่ภาพประกอบเพื่อสนับสนุนเฉพาะข้อกล่าวอ้างที่สำคัญเท่านั้น

หกส่วนของรายงาน EDA

โดยทั่วไป รายงาน EDA ระดับมืออาชีพประกอบด้วยหกส่วน ได้แก่ 1) ภาพรวมชุดข้อมูล (ขนาด แหล่งที่มา ช่วงเวลา), 2) ปัญหาคุณภาพข้อมูล (ค่าที่หายไป ค่าผิดปกติ ข้อมูลซ้ำ และการจัดการปัญหาเหล่านั้น), 3) การแจกแจงของตัวแปรสำคัญ (คอลัมน์เชิงตัวเลขและเชิงหมวดหมู่ที่สำคัญที่สุด), 4) สหสัมพันธ์และความสัมพันธ์ (ความสัมพันธ์ที่พบซึ่งมีขนาดสูงสุด), 5) ข้อมูลเชิงลึกของกลุ่มย่อย (ความแตกต่างระหว่างกลุ่มที่สำคัญต่อคำถามทางธุรกิจ) และ 6) ขั้นตอนถัดไปที่แนะนำ (การดำเนินการทำความสะอาดและข้อเสนอแนะด้านการสร้างแบบจำลอง)

การเขียนส่วนภาพรวมชุดข้อมูล

ควรสร้างส่วนภาพรวมด้วยโปรแกรมเพื่อให้ถูกต้องอยู่เสมอ ให้บันทึกขนาด ชื่อคอลัมน์และชนิดข้อมูล ช่วงวันที่ (หากเกี่ยวข้อง) รวมถึงแหล่งที่มาหรือเวอร์ชันของชุดข้อมูล การเขียนส่วนนี้ด้วยโค้ดแทนการเขียนเป็นข้อความจะป้องกันข้อผิดพลาดที่พบบ่อย เช่น การอธิบายว่าชุดข้อมูลมี 10,000 แถว ทั้งที่รายงานสร้างขึ้นจริงจากข้อมูลเวอร์ชันที่ทำความสะอาดแล้วซึ่งมี 9,800 แถว

import pandas as pd
import seaborn as sns

df = sns.load_dataset('titanic')

print('=== DATASET OVERVIEW ===')
print(f'Shape: {df.shape[0]:,} rows x {df.shape[1]} columns')
print(f'Columns: {", ".join(df.columns)}')
print(f'Numeric: {df.select_dtypes("number").shape[1]} columns')
print(f'Categorical: {df.select_dtypes("object").shape[1]} columns')
print(f'Boolean: {df.select_dtypes("bool").shape[1]} columns')
print(f'Total missing cells: {df.isna().sum().sum():,}')
print(f'Duplicate rows: {df.duplicated().sum()}')

การเขียนส่วนคุณภาพข้อมูล

ส่วนคุณภาพข้อมูลจะแสดงรายการปัญหาทุก项ที่พบและการตัดสินใจที่ดำเนินการกับแต่ละปัญหา ใช้รูปแบบตารางที่มีคอลัมน์ดังนี้: คอลัมน์, ปัญหา, ระดับความรุนแรง (สูง/ปานกลาง/ต่ำ), การดำเนินการ คำนวณตารางนี้ด้วยโปรแกรมจากผลการตรวจสอบข้อมูล เพื่อให้ตารางอัปเดตโดยอัตโนมัติเมื่อข้อมูลเปลี่ยนแปลง ระดับความรุนแรงควรสะท้อนผลกระทบทางธุรกิจ — ตัวแปรเป้าหมายที่หายไปมีระดับสูง ส่วนคอลัมน์ที่หายไปและไม่ช่วยในการทำนายอาจมีระดับต่ำ

import pandas as pd
import seaborn as sns

df = sns.load_dataset('titanic')

# Auto-generate data quality table
missing_pct = (df.isna().sum() / len(df) * 100).round(1)
quality = missing_pct[missing_pct > 0].to_frame(name='missing_pct')
quality['severity'] = quality['missing_pct'].apply(
    lambda x: 'High' if x > 30 else ('Medium' if x > 10 else 'Low')
)
quality['action'] = quality['missing_pct'].apply(
    lambda x: 'Drop column' if x > 50 else 'Impute or flag'
)
print(quality.to_string())

การสร้างรูปสรุปหลายแผง

รูปสรุปจะรวมแผนภาพหลายรายการไว้ในภาพเดียว ซึ่งสามารถแทรกลงในรายงานได้ ใช้ plt.subplots(rows, cols) เพื่อสร้างตาราง และกำหนดให้ข้อค้นพบสำคัญแต่ละรายการมีแผงของตนเอง บันทึกรูปด้วย savefig() โดยใช้ค่า DPI ที่เหมาะสมกับรูปแบบผลลัพธ์ (150 สำหรับหน้าจอ, 300 สำหรับงานพิมพ์) ตั้งชื่อแต่ละแผงด้วยข้อความที่สื่อข้อค้นพบอย่างชัดเจน เช่น 'ค่าโดยสารมีการเบ้ไปทางขวาอย่างชัดเจน (skew=4.1)' แทนการใช้เพียงชื่อคอลัมน์

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

df = sns.load_dataset('titanic')

fig, axes = plt.subplots(2, 2, figsize=(12, 10))

# 1. Fare distribution
sns.histplot(df['fare'], kde=True, bins=30, ax=axes[0][0])
axes[0][0].set_title('Fare is right-skewed (skew=4.1)')

# 2. Survival by class
survival = df.groupby('class')['survived'].mean().reset_index()
sns.barplot(data=survival, x='class',
            y='survived', order=['First', 'Second', 'Third'], ax=axes[0][1])
axes[0][1].set_title('Survival Rate Drops by Class')

# 3. Age distribution
sns.histplot(df['age'].dropna(), kde=True, bins=25, ax=axes[1][0], color='coral')
axes[1][0].set_title('Age: Near-Normal, Missing 20%')

# 4. Embarkation counts
sns.countplot(data=df, x='embarked', ax=axes[1][1], palette='Set2')
axes[1][1].set_title('Most Boarded at Southampton')

plt.tight_layout()
plt.savefig('/tmp/eda_summary.png', dpi=150, bbox_inches='tight')
plt.show()
print('Saved: /tmp/eda_summary.png')

การเขียนข้อค้นพบเป็นข้อความเชิงบรรยาย

ควรเขียนข้อค้นพบสำคัญแต่ละรายการเป็น ประโยคที่เกี่ยวข้องกับธุรกิจ ไม่ใช่คำอธิบายทางเทคนิค แทนที่จะเขียนว่า 'คอลัมน์ค่าโดยสารมีความเบ้=4.1' ให้เขียนว่า 'ราคาตั๋วมีการเบ้ไปทางขวาอย่างมาก — ผู้โดยสารชั้นหนึ่งจำนวนเล็กน้อยจ่ายค่าโดยสารมากกว่าค่ามัธยฐานเกิน 10 เท่า ซึ่งอาจทำให้การวิเคราะห์รายได้ที่ใช้ราคาเฉลี่ยคลาดเคลื่อนได้' การแปลงข้อสังเกตทางสถิติให้เป็นนัยสำคัญทางธุรกิจเช่นนี้ คือสิ่งที่ทำให้รายงาน EDA มีคุณค่าสำหรับผู้มีส่วนได้ส่วนเสียที่ไม่ใช่ผู้เชี่ยวชาญด้านเทคนิค

การสร้างรายงาน Markdown ด้วยโปรแกรม

คุณสามารถเขียนรายงาน EDA เป็น ไฟล์ markdown ได้โดยตรงจาก Python โดยสร้างสตริงที่มีหัวข้อ markdown รายการหัวข้อย่อย และลิงก์รูปภาพที่ฝังอยู่ จากนั้นเขียนสตริงนั้นลงใน .md การดำเนินการนี้จะสร้างรายงานที่ทำซ้ำได้และอัปเดตโดยอัตโนมัติเมื่อข้อมูลต้นทางเปลี่ยนแปลง จึงเหมาะสำหรับการผสานเข้ากับผลลัพธ์ไฟล์ของสายงานข้อมูลหรือคลัง Git

import pandas as pd
import seaborn as sns

df = sns.load_dataset('titanic')

# Build a simple markdown report
lines = [
    '# EDA Summary Report: Titanic Dataset',
    '',
    '## Overview',
    f'- **Rows:** {len(df):,}',
    f'- **Columns:** {df.shape[1]}',
    f'- **Total Missing Cells:** {df.isna().sum().sum():,}',
    '',
    '## Key Findings',
    '- First-class passengers had a 63% survival rate vs 24% for third class.',
    '- Fare is extremely right-skewed (skew=4.1); use log transform before modelling.',
    '- Age is missing in 20% of rows — median imputation recommended.',
    '',
    '## Recommended Next Steps',
    '1. Impute age with median grouped by class.',
    '2. Drop the cabin column (77% missing).',
    '3. Log-transform fare before any regression modelling.',
]

with open('/tmp/eda_report.md', 'w') as f:
    f.write('\n'.join(lines))

print('Report written to /tmp/eda_report.md')
print('\n'.join(lines[:10]))

การส่งออกเป็น HTML ด้วย Jupyter

สามารถส่งออกสมุดบันทึก Jupyter เป็น HTML หรือ PDF ได้ด้วย jupyter nbconvert --to html notebook.ipynb วิธีนี้จะเก็บแผนภาพ โค้ด และเซลล์ markdown ทั้งหมดไว้ในไฟล์เดียวที่แบ่งปันได้ และไม่จำเป็นต้องติดตั้ง Python เพื่อเปิดดู สำหรับสายงานอัตโนมัติเต็มรูปแบบ ให้เรียกใช้สมุดบันทึกด้วยโปรแกรมผ่าน papermill: papermill input.ipynb output.ipynb -p date '2024-01-01' ซึ่งจะกำหนดพารามิเตอร์และเรียกใช้สมุดบันทึกเสมือนสคริปต์

# To export a Jupyter notebook to HTML:
# jupyter nbconvert --to html eda_notebook.ipynb

# To parameterise and run with papermill:
# pip install papermill
# papermill eda_template.ipynb eda_2024.ipynb -p date '2024-01-01' -p min_rows 1000

# The output notebook can then be exported:
# jupyter nbconvert --to html eda_2024.ipynb
print('Jupyter nbconvert and papermill automate report generation.')

การจัดโครงสร้างขั้นตอนถัดไปที่นำไปปฏิบัติได้

ส่วน ขั้นตอนถัดไปที่แนะนำ มักเป็นส่วนที่มีผู้อ่านมากที่สุดในรายงาน EDA ควรจัดโครงสร้างเป็นรายการตรวจสอบตามลำดับความสำคัญ: P1 (ต้องแก้ไขก่อน) — ปัญหาที่ต้องแก้ไขก่อนจึงจะถือว่าการวิเคราะห์ใด ๆ ถูกต้อง (เช่น ระบุชนิดข้อมูลผิด), P2 (สำคัญ) — การทำความสะอาดที่ส่งผลอย่างมากต่อประสิทธิภาพของแบบจำลอง (เช่น การจัดการค่าผิดปกติ), P3 (มีก็ดี) — แนวคิดในการเพิ่มข้อมูลและแหล่งข้อมูลเพิ่มเติมที่ควรสำรวจ การจัดกรอบเช่นนี้ช่วยให้ทีมจัดสรรความพยายามได้อย่างเหมาะสม

การใช้ pandas-profiling เพื่อจัดทำรายงานอย่างรวดเร็ว

ydata-profiling (pip install ydata-profiling) จะสร้างรายงาน HTML แบบครอบคลุมด้วยการเรียกใช้เพียงครั้งเดียว รายงานประกอบด้วยสถิติภาพรวม การแจกแจงของตัวแปร สหสัมพันธ์ รูปแบบค่าที่หายไป และการตรวจหาข้อมูลซ้ำ ซึ่งครอบคลุมทุกส่วนของรายงาน EDA ที่จัดทำด้วยตนเอง ใช้เครื่องมือนี้เพื่อสำรวจข้อมูลอย่างรวดเร็วในช่วงเริ่มต้นโครงการ จากนั้นเขียนรายงานสรุปแบบกำหนดเองเพื่อเน้นข้อค้นพบที่เกี่ยวข้องที่สุดกับคำถามทางธุรกิจเฉพาะของคุณ

# pip install ydata-profiling
# from ydata_profiling import ProfileReport
# import seaborn as sns

# df = sns.load_dataset('titanic')
# profile = ProfileReport(df, title='Titanic EDA')
# profile.to_file('titanic_eda.html')  # interactive HTML
# profile.to_notebook_iframe()          # inline in Jupyter

# Key sections in the generated report:
# - Overview: shape, missing, duplicates
# - Variables: per-column statistics and plots  
# - Correlations: Pearson, Spearman, Cramers V
# - Missing values: heatmap and dendrogram
# - Duplicates: full list of duplicate rows
print('ydata-profiling generates full EDA reports with one function call.')

รูปแบบที่ควรหลีกเลี่ยงในรายงาน EDA

รูปแบบที่ควรหลีกเลี่ยงในรายงาน EDA ที่พบบ่อย ได้แก่ แสดงแผนภาพทุกแผนภาพสำหรับทุกคอลัมน์ (ทำให้เกิดรายงานยาว 50 หน้าที่ไม่มีใครอ่าน — ให้เลือกเฉพาะ 5-10 รายการที่สำคัญที่สุด), ระบุข้อเท็จจริงโดยไม่ตีความ ('อายุมีค่า null 177 ค่า' — แล้วควรดำเนินการอย่างไร?), ไม่อัปเดตรายงานหลังทำความสะอาด (ทำความสะอาดข้อมูลแล้วตรวจสอบข้อมูลซ้ำอีกครั้งเพื่อยืนยันว่าปัญหาได้รับการแก้ไข) และ ผสมโค้ดทำความสะอาดเข้ากับการวิเคราะห์ (แยกการทำความสะอาดข้อมูลออกจากเรื่องราวของ EDA)

ตรวจสอบความเข้าใจอย่างรวดเร็ว

ทดสอบความเข้าใจเกี่ยวกับการเขียนรายงาน EDA จากบทเรียนนี้

สรุปบทเรียน

ในบทเรียนนี้ คุณได้เรียนรู้การจัดโครงสร้างรายงาน EDA เป็น หกส่วน (ภาพรวม คุณภาพ การแจกแจง สหสัมพันธ์ ข้อมูลเชิงลึกของกลุ่มย่อย และขั้นตอนถัดไป) การสร้าง รูปสรุปหลายแผง และ รายงาน markdown ด้วยโปรแกรม และการแปลงข้อค้นพบทางสถิติให้เป็น ภาษาที่เกี่ยวข้องกับธุรกิจ บทถัดไปเราจะสำรวจเทคนิคการทำดัชนีขั้นสูง — การสร้าง MultiIndex และการเลือกข้อมูลแบบลำดับชั้นใน Pandas

คำถามที่พบบ่อย

บทเรียน “การสรุปข้อค้นพบในรายงาน” ฟรีหรือไม่

ใช่ — ข้อความเต็มของ “การสรุปข้อค้นพบในรายงาน” ฟรีให้อ่านที่นี่บนเว็บ เพื่อปฏิบัติแบบโต้ตอบ (ตัวแก้ไขโค้ดในตัวและติวเตอร์ AI ตลอด 24/7) และปลดล็อคส่วนที่เหลือของคอร์ส Pandas & NumPy Academy ให้อัปเกรดเป็น CoddyKit PRO คอร์ส Pandas & NumPy Academy มีบทเรียนทั้งหมด 4 บทเรียน

คุณจะเรียนรู้อะไรในบทเรียน “การสรุปข้อค้นพบในรายงาน”

รวบรวมข้อมูลเชิงลึกสำคัญเป็นสรุป markdown ที่มีโครงสร้าง พร้อมการอ้างอิงภาพประกอบและขั้นตอนถัดไปที่นำไปปฏิบัติได้ คุณปฏิบัติ Pandas & NumPy Academy ด้วยโค้ดที่ใช้งานได้จริงที่คุณเรียกใช้โดยตรงในเบราว์เซอร์ และติวเตอร์ AI ตลอด 24/7 ตอบคำถามของคุณขณะที่คุณไปผ่านบทเรียน

คุณต้องมีประสบการณ์ก่อนที่จะเริ่มเรียน Pandas & NumPy Academy หรือไม่

ไม่จำเป็นต้องมีประสบการณ์มาก่อน Pandas & NumPy Academy บน CoddyKit ออกแบบมาสำหรับผู้เริ่มต้นไปจนถึงผู้เรียนขั้นสูง คุณสามารถเริ่มต้นที่นี่หรือเริ่มจากตัวแรกและเรียนด้วยความเร็วของคุณเอง นี่คือบทเรียนที่ 4 จากทั้งหมด 4 บทเรียน

บทเรียน “การสรุปข้อค้นพบในรายงาน” ใช้เวลานานแค่ไหน

บทเรียน CoddyKit ส่วนใหญ่ใช้เวลาประมาณ 5–10 นาที แต่ละบทเรียนจึงสั้นและเป็นแบบโต้ตอบ คุณสามารถก้าวหน้าอย่างต่อเนื่องและกลับมาเรียนต่อจากตรงที่เพิ่งหยุดบนเว็บและแอปได้เลย

ฉันเขียนและรันโค้ดในบทเรียน Pandas & NumPy Academy นี้ได้ไหม

ได้ บทเรียน Pandas & NumPy Academy ทุกบทมีตัวแก้ไขโค้ดในตัว คุณจึงเขียนและรันโค้ดจริงได้เลยในเบราว์เซอร์ และได้รับข้อเสนอแนะจาก AI ในทันที — ไม่ต้องติดตั้งในเครื่องของคุณ

บทเรียนทั้งหมดในหลักสูตรนี้

← กลับไปที่ Pandas & NumPy Academy