Выявление закономерностей и выбросов

Поиск закономерностей и выбросов важен для понимания распределения данных, выявления тенденций и обнаружения аномалий.

Используйте plot(), чтобы создать линейные графики и обнаружить закономерности во времени.

x <- 1:10
y <- c(2, 4, 6, 8, 10, 12, 14, 18, 22, 28)
plot(x, y, type='l', col='blue', main='Line Chart of Trends')

Используйте boxplot(), чтобы найти экстремальные значения в числовых наборах данных.

boxplot(mtcars$mpg, main='Boxplot of MPG', col='red')

Гистограммы помогают визуализировать форму распределения данных и обнаруживать необычные значения.

hist(mtcars$hp, col='green', main='Histogram of Horsepower')

Диаграммы рассеяния могут показывать закономерности или неожиданные выбросы во взаимосвязях между двумя переменными.

plot(mtcars$mpg, mtcars$hp, main='MPG vs Horsepower', xlab='MPG', ylab='Horsepower', col='blue')

Z-оценки показывают, насколько далеко точка данных находится от среднего значения. Значения за пределами ±3 считаются выбросами.

z_scores <- scale(mtcars$mpg)
outliers <- mtcars$mpg[abs(z_scores) > 3]

Метод межквартильного размаха (IQR) отмечает выбросы, находящиеся дальше чем в 1,5 раза от границ диапазона IQR.

Q1 <- quantile(mtcars$mpg, 0.25)
Q3 <- quantile(mtcars$mpg, 0.75)
IQR_value <- Q3 - Q1
outliers <- mtcars$mpg[mtcars$mpg < (Q1 - 1.5 * IQR_value) | mtcars$mpg > (Q3 + 1.5 * IQR_value)]

В зависимости от контекста данных выбросы можно удалить, преобразовать или заменить.

filtered_data <- mtcars[!(mtcars$mpg %in% outliers),]

В этом уроке Вы узнали:

• как выявлять закономерности с помощью визуализаций;
• как обнаруживать выбросы статистическими методами;
• как обрабатывать выбросы с учётом контекста.