Le concept de régression logistique

La régression logistique est un algorithme d’apprentissage supervisé utilisé pour les problèmes de classification. Contrairement à la régression linéaire, elle prédit un résultat catégoriel (par exemple, oui/non ou vrai/faux).

Elle est largement utilisée dans des domaines comme la finance, la santé et le marketing.

Fonctionnement de la régression logistique

La régression logistique utilise la fonction sigmoïde pour transformer une sortie linéaire en une probabilité comprise entre 0 et 1. Cette probabilité détermine l’étiquette de la classe.

La fonction sigmoïde

La formule de la fonction sigmoïde est la suivante :

σ(z) = 1 / (1 + e^(-z))

Ici, z est l’équation linéaire (mx + b). La fonction sigmoïde associe à z une valeur comprise entre 0 et 1.

Applications de la régression logistique

La régression logistique est couramment utilisée pour :

• Détection des courriers indésirables : Classer les courriels comme indésirables ou non.
• Santé : Prédire la probabilité qu’une maladie soit présente.
• Marketing : Segmenter les clients en fonction de leur comportement d’achat.

Types de régression logistique

La régression logistique peut être classée en trois types :

• Régression logistique binaire : Deux résultats possibles (par exemple, oui/non).
• Régression logistique multinomiale : Plus de deux catégories (par exemple, rouge/bleu/vert).
• Régression logistique ordinale : Des catégories ordonnées (par exemple, faible/moyen/élevé).

Avantages de la régression logistique

La régression logistique présente plusieurs avantages :

• Elle est facile à mettre en œuvre et à interpréter.
• Elle fonctionne bien pour les tâches de classification binaire et simple.
• Elle fournit des sorties probabilistes utiles à la prise de décision.

Limites de la régression logistique

La régression logistique présente notamment les limites suivantes :

• Elle suppose une relation linéaire entre les variables (par l’intermédiaire du logarithme des rapports de chances).
• Elle peut être peu performante avec des jeux de données complexes ou fortement non linéaires.
• Elle peut être sensible aux valeurs aberrantes.

Régression logistique et régression linéaire

Les principales différences sont les suivantes :

• Régression linéaire : Prédit des valeurs continues.
• Régression logistique : Prédit des résultats catégoriels.
• Sortie : La régression logistique produit des probabilités (de 0 à 1), tandis que la régression linéaire produit des nombres réels.

Résumé et prochaines étapes

Dans cette leçon, nous avons étudié :

• Le concept et le fonctionnement de la régression logistique.
• La fonction sigmoïde et son rôle dans la classification.
• Les applications, les avantages et les limites de la régression logistique.

Nous allons maintenant mettre en œuvre une régression logistique en Python pour résoudre des problèmes de classification.