Реализация линейной регрессии в Python

Теперь, когда вы понимаете понятие линейной регрессии, давайте реализуем её с помощью Python. Для этого мы воспользуемся популярной библиотекой scikit-learn.

Шаг 1: подготовка данных

Сначала необходимо подготовить набор данных. В этом примере мы воспользуемся простым набором данных с одной независимой переменной (x) и одной зависимой переменной (y).

Вот данные:

• x: 1, 2, 3, 4, 5
• y: 2, 4, 6, 8, 10

Шаг 2: импорт необходимых библиотек

Нам необходимо импортировать следующие библиотеки:

• numpy: для численных вычислений.
• matplotlib: для визуализации.
• scikit-learn: для алгоритмов машинного обучения.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

Шаг 3: создание модели

Мы создаём модель линейной регрессии с помощью класса LinearRegression библиотеки scikit-learn и выполняем для неё fit на данных.

x = np.array([1, 2, 3, 4, 5]).reshape(-1, 1)
y = np.array([2, 4, 6, 8, 10])

model = LinearRegression()
model.fit(x, y)

Шаг 4: создание предсказаний

После обучения модели можно использовать её для создания предсказаний. Например, можно предсказать значение y при x = 6.

prediction = model.predict(np.array([[6]]))
print(f"Predicted value for x=6: {prediction[0]}")

Шаг 5: визуализация результатов

Мы можем построить график точек данных и линии регрессии, чтобы визуально оценить, насколько хорошо модель соответствует данным.

plt.scatter(x, y, color='blue', label='Data points')
plt.plot(x, model.predict(x), color='red', label='Regression line')
plt.title('Linear Regression Visualization')
plt.xlabel('X')
plt.ylabel('Y')
plt.legend()
plt.show()

Шаг 6: оценка модели

Мы оцениваем эффективность модели с помощью таких метрик, как R-квадрат. Эта метрика показывает, насколько хорошо модель объясняет вариативность данных.

r_squared = model.score(x, y)
print(f"R-squared value: {r_squared}")

Распространённые сложности при реализации

При реализации линейной регрессии вы можете столкнуться с такими сложностями:

• Переобучение на небольших наборах данных.
• Чувствительность к выбросам.
• Обработка мультиколлинеарности при наличии нескольких переменных.

Итоги и дальнейшие шаги

В этом уроке мы:

• Научились реализовывать линейную регрессию с помощью scikit-learn.
• Строили прогнозы и визуализировали результаты.
• Оценивали модель с помощью коэффициента детерминации R².

Далее мы рассмотрим понятие логистической регрессии для задач классификации.