Implementierung der logistischen Regression in Python

In dieser Lektion implementieren wir mithilfe der Bibliothek scikit-learn eine logistische Regression. Dabei arbeiten wir mit einem Datensatz zur binären Klassifikation.

Schritt 1: Bibliotheken und Datensatz importieren

Wir beginnen damit, die erforderlichen Bibliotheken zu importieren und einen Datensatz zu laden. Der Einfachheit halber verwenden wir make_classification aus scikit-learn, um einen Datensatz zur binären Klassifikation zu erzeugen.

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# Generate dataset
X, y = make_classification(n_samples=100, n_features=2, n_classes=2, random_state=42)

# Split into train and test sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

Schritt 2: Das Modell für die logistische Regression erstellen

Wir verwenden die Klasse LogisticRegression von scikit-learn, um das Modell zu erstellen und zu trainieren.

model = LogisticRegression()
model.fit(X_train, y_train)

Schritt 3: Vorhersagen erstellen

Sobald das Modell trainiert ist, verwenden wir es, um Vorhersagen für die Testdaten zu erstellen.

y_pred = model.predict(X_test)

Schritt 4: Das Modell bewerten

Wir bewerten die Leistung des Modells mithilfe der Genauigkeit als Metrik.

accuracy = accuracy_score(y_test, y_pred)
print(f"Model Accuracy: {accuracy:.2f}")

Schritt 5: Entscheidungsgrenzen visualisieren

Um die Leistung des Modells besser zu verstehen, visualisieren wir die Entscheidungsgrenzen.

import matplotlib.pyplot as plt
import numpy as np

# Define grid for plotting
def plot_decision_boundary(X, y, model):
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1), np.arange(y_min, y_max, 0.1))

    Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    plt.contourf(xx, yy, Z, alpha=0.8)
    plt.scatter(X[:, 0], X[:, 1], c=y, edgecolor='k')
    plt.title('Decision Boundary')
    plt.show()

plot_decision_boundary(X, y, model)

Schritt 6: Das Modell abstimmen

Wir können die Leistung des Modells verbessern, indem wir Hyperparameter wie C anpassen, der die Stärke der Regularisierung steuert.

model = LogisticRegression(C=0.5)
model.fit(X_train, y_train)

Herausforderungen bei der logistischen Regression

Zu den Herausforderungen gehören:

• Umgang mit unausgeglichenen Datensätzen.
• Umgang mit stark korrelierten Merkmalen.
• Sicherstellen einer ausreichenden Menge an Trainingsdaten für effektive Vorhersagen.

Zusammenfassung und nächste Schritte

In dieser Lektion haben wir:

• Eine logistische Regression mit scikit-learn implementiert.
• Vorhersagen erstellt und das Modell bewertet.
• Entscheidungsgrenzen visualisiert.

Als Nächstes betrachten wir, wie sich die Modellleistung mithilfe von Metriken wie F1-Score, Präzision und Recall bewerten lässt.