تحديد الأنماط والقيم الشاذة في البيانات

يُعد العثور على الأنماط والقيم الشاذة أمراً بالغ الأهمية لفهم توزيع البيانات، ورصد الاتجاهات، واكتشاف الحالات الشاذة.

تصوير الاتجاهات باستخدام المخططات الخطية

استخدم plot() لإنشاء مخططات خطية واكتشاف الأنماط بمرور الوقت.

x <- 1:10
y <- c(2, 4, 6, 8, 10, 12, 14, 18, 22, 28)
plot(x, y, type='l', col='blue', main='Line Chart of Trends')

اكتشاف القيم الشاذة باستخدام المخططات الصندوقية

استخدم boxplot() للعثور على القيم المتطرفة في مجموعات البيانات العددية.

boxplot(mtcars$mpg, main='Boxplot of MPG', col='red')

استخدام المدرج التكراري لتحديد التوزيع

تساعد المدرجات التكرارية في تصور شكل توزيع البيانات واكتشاف القيم غير المعتادة.

hist(mtcars$hp, col='green', main='Histogram of Horsepower')

استخدام المخططات المبعثرة للعثور على العلاقات

يمكن للمخططات المبعثرة إظهار الأنماط أو القيم الشاذة غير المتوقعة في العلاقات بين متغيرين.

plot(mtcars$mpg, mtcars$hp, main='MPG vs Horsepower', xlab='MPG', ylab='Horsepower', col='blue')

حساب درجات Z لاكتشاف القيم الشاذة

تقيس درجات Z مدى بُعد نقطة البيانات عن المتوسط. وتُعد القيم التي تتجاوز ±3 قيماً شاذة.

z_scores <- scale(mtcars$mpg)
outliers <- mtcars$mpg[abs(z_scores) > 3]

استخدام طريقة IQR للعثور على القيم الشاذة

تحدد طريقة المدى الربيعي (IQR) القيم الشاذة التي تتجاوز 1.5 مرة من مدى IQR.

Q1 <- quantile(mtcars$mpg, 0.25)
Q3 <- quantile(mtcars$mpg, 0.75)
IQR_value <- Q3 - Q1
outliers <- mtcars$mpg[mtcars$mpg < (Q1 - 1.5 * IQR_value) | mtcars$mpg > (Q3 + 1.5 * IQR_value)]

معالجة القيم الشاذة

يمكن إزالة القيم الشاذة أو تحويلها أو استبدالها بناءً على سياق البيانات.

filtered_data <- mtcars[!(mtcars$mpg %in% outliers),]

الملخص

تعلمت في هذا الدرس:

• كيفية تحديد الأنماط باستخدام التصورات البيانية.
• كيفية اكتشاف القيم الشاذة باستخدام الأساليب الإحصائية.
• كيفية معالجة القيم الشاذة بناءً على السياق.