Понятие логистической регрессии

Логистическая регрессия — алгоритм обучения с учителем, используемый для решения задач классификации. В отличие от линейной регрессии, она предсказывает категориальный результат (например, да/нет или истина/ложь).

Она широко используется в таких областях, как финансы, здравоохранение и маркетинг.

Как работает логистическая регрессия

Логистическая регрессия использует сигмоидальную функцию, чтобы преобразовать линейный результат в значение вероятности от 0 до 1. Эта вероятность определяет метку класса.

Сигмоидальная функция

Формула сигмоидальной функции имеет вид:

σ(z) = 1 / (1 + e^(-z))

Здесь z — линейное уравнение (mx + b). Сигмоидальная функция отображает z в диапазон от 0 до 1.

Применение логистической регрессии

Логистическая регрессия обычно используется для:

• Обнаружения спама: классификации электронных писем как спама или обычных писем.
• Здравоохранения: предсказания вероятности заболевания.
• Маркетинга: сегментации клиентов на основе поведения при покупках.

Типы логистической регрессии

Логистическую регрессию можно разделить на три типа:

• Бинарная логистическая регрессия: два возможных результата (например, да/нет).
• Мультиномиальная логистическая регрессия: более двух категорий (например, красный/синий/зелёный).
• Порядковая логистическая регрессия: упорядоченные категории (например, низкий/средний/высокий).

Преимущества логистической регрессии

Логистическая регрессия имеет несколько преимуществ:

• Проста в реализации и интерпретации.
• Хорошо подходит для бинарных задач и простых задач классификации.
• Предоставляет вероятностные результаты, полезные для принятия решений.

Ограничения логистической регрессии

К ограничениям логистической регрессии относятся:

• Предположение о линейной зависимости между переменными (через логарифм шансов).
• Возможные проблемы при работе со сложными или сильно нелинейными наборами данных.
• Чувствительность к выбросам.

Логистическая и линейная регрессия

Основные различия:

• Линейная регрессия: предсказывает непрерывные значения.
• Логистическая регрессия: предсказывает категориальные результаты.
• Результат: логистическая регрессия выдаёт вероятности (от 0 до 1), а линейная регрессия — действительные числа.

Итоги и дальнейшие шаги

В этом уроке мы рассмотрели:

• Понятие и принцип работы логистической регрессии.
• Сигмоидальную функцию и её роль в классификации.
• Применение, преимущества и ограничения логистической регрессии.

Далее мы реализуем логистическую регрессию на Python для решения задач классификации.