Implementando a regressão logística em Python

Nesta lição, implementaremos a regressão logística usando a biblioteca scikit-learn. Trabalharemos com um conjunto de dados de classificação binária.

Etapa 1: Importação das bibliotecas e do conjunto de dados

Começaremos importando as bibliotecas necessárias e carregando um conjunto de dados. Para simplificar, usaremos make_classification do scikit-learn para gerar um conjunto de dados de classificação binária.

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score

# Generate dataset
X, y = make_classification(n_samples=100, n_features=2, n_classes=2, random_state=42)

# Split into train and test sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

Etapa 2: Criação do modelo de regressão logística

Usamos a classe LogisticRegression do scikit-learn para criar e treinar o modelo.

model = LogisticRegression()
model.fit(X_train, y_train)

Etapa 3: Fazendo Previsões

Depois que o modelo é treinado, nós o usamos para fazer previsões sobre os dados de teste.

y_pred = model.predict(X_test)

Etapa 4: Avaliação do modelo

Avaliamos o desempenho do modelo usando a acurácia como métrica.

accuracy = accuracy_score(y_test, y_pred)
print(f"Model Accuracy: {accuracy:.2f}")

Etapa 5: Visualização das fronteiras de decisão

Para compreender melhor o desempenho do modelo, visualizamos as fronteiras de decisão.

import matplotlib.pyplot as plt
import numpy as np

# Define grid for plotting
def plot_decision_boundary(X, y, model):
    x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.1), np.arange(y_min, y_max, 0.1))

    Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    
    plt.contourf(xx, yy, Z, alpha=0.8)
    plt.scatter(X[:, 0], X[:, 1], c=y, edgecolor='k')
    plt.title('Decision Boundary')
    plt.show()

plot_decision_boundary(X, y, model)

Etapa 6: Ajuste do modelo

Podemos melhorar o desempenho do modelo ajustando hiperparâmetros como C, que controla a intensidade da regularização.

model = LogisticRegression(C=0.5)
model.fit(X_train, y_train)

Desafios da regressão logística

Os desafios incluem:

• Lidar com conjuntos de dados desbalanceados.
• Lidar com atributos altamente correlacionados.
• Garantir dados de treinamento suficientes para fazer previsões eficazes.

Resumo e próximos passos

Nesta lição, nós:

• Implementamos a regressão logística usando scikit-learn.
• Fizemos previsões e avaliamos o modelo.
• Visualizamos as fronteiras de decisão.

Em seguida, exploraremos como avaliar o desempenho do modelo usando métricas como a pontuação F1, a precisão e a revocação.