0Pricing
Python Academy · レッスン

線形モデル: 回帰と分類

線形回帰モデルとロジスティック回帰モデルを訓練します。

「線形モデル: 回帰と分類」はCoddyKit上の無料Python Academyレッスンです。 これはレッスン2/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはPython Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 Python Academyコースには全4レッスンが含まれています。

線形回帰

LinearRegressionは、最小二乗誤差を最小化して直線（または超平面）を当てはめます。

from sklearn.linear_model import LinearRegression
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

X, y = make_regression(n_samples=200, n_features=5, noise=10, random_state=0)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)

model = LinearRegression().fit(X_tr, y_tr)
print("RMSE:", mean_squared_error(y_te, model.predict(X_te))**0.5)

モデル係数

当てはめた後、coef_（特徴量の重み）とintercept_を確認します。

from sklearn.linear_model import LinearRegression
import numpy as np

X = np.array([[1],[2],[3]])
y = np.array([2, 4, 6])

model = LinearRegression().fit(X, y)
print("Coef:", model.coef_)       # [2.]
print("Intercept:", model.intercept_)  # ~0

Ridge回帰とLasso回帰

Ridge（L2）とLasso（L1）は、過学習を防ぐために正則化を追加します。alphaで正則化の強さを調整します。

from sklearn.linear_model import Ridge, Lasso
from sklearn.datasets import make_regression

X, y = make_regression(n_features=20, noise=15, random_state=0)

ridge = Ridge(alpha=1.0).fit(X, y)
lasso = Lasso(alpha=0.1).fit(X, y)
print("Ridge coef[:5]:", ridge.coef_[:5])
print("Lasso coef[:5]:", lasso.coef_[:5])  # some are 0 (sparse)

ロジスティック回帰

LogisticRegressionは、二値分類または多クラス分類に使用する線形分類器です。名前に反して、クラスの確率を予測します。

from sklearn.linear_model import LogisticRegression
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score

X, y = make_classification(random_state=0)
X_tr, X_te, y_tr, y_te = train_test_split(X, y, random_state=0)
model = LogisticRegression().fit(X_tr, y_tr)
print("Accuracy:", accuracy_score(y_te, model.predict(X_te)))

多クラスロジスティック回帰

multi_class="multinomial"を設定するか、3クラス以上の場合はデフォルトのOvR（one-vs-rest）を使用します。

from sklearn.linear_model import LogisticRegression
from sklearn.datasets import load_iris

X, y = load_iris(return_X_y=True)
model = LogisticRegression(max_iter=200).fit(X, y)
print("Classes:", model.classes_)   # [0 1 2]
print("Accuracy:", model.score(X, y))

線形モデルの特徴量スケーリング

線形モデルでは、特に正則化を使用する場合、必ず特徴量をスケーリングします。スケーリングしていない特徴量では、ペナルティの大きさが実際とは異なって見えます。

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression

pipe = Pipeline([
    ("scale", StandardScaler()),
    ("clf",   LogisticRegression())
])
pipe.fit(X_tr, y_tr)
print(pipe.score(X_te, y_te))

学習曲線

学習曲線は、訓練データを増やすとモデルの性能がどのように向上するかを示します。過少適合や過学習の診断に役立ちます。

from sklearn.model_selection import learning_curve
import numpy as np

train_sizes, train_scores, val_scores = learning_curve(
    LogisticRegression(), X, y, cv=5,
    train_sizes=np.linspace(0.1, 1.0, 5)
)
print("Val mean:", val_scores.mean(axis=1))

回帰のR²スコア

r2_scoreは、説明できた分散の割合を測定します。1.0は完全な予測、0は平均値を予測する場合よりモデルの性能が良くないことを意味します。

from sklearn.metrics import r2_score
from sklearn.linear_model import LinearRegression
from sklearn.datasets import make_regression

X, y = make_regression(noise=20, random_state=0)
model = LinearRegression().fit(X, y)
print("R²:", r2_score(y, model.predict(X)))

多項式特徴量

PolynomialFeaturesを使用すると、線形モデルで非線形の関係を当てはめられます。

from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LinearRegression
import numpy as np

X = np.array([[1],[2],[3],[4],[5]])
y = np.array([1, 4, 9, 16, 25])  # y = x^2

pipe = Pipeline([
    ("poly", PolynomialFeatures(degree=2)),
    ("lr",   LinearRegression())
])
pipe.fit(X, y)
print(pipe.predict([[6]]))   # ~36

SGDClassifierとSGDRegressor

確率的勾配降下法は、標準的なソルバーでは遅すぎる非常に大規模なデータセットにも対応できます。

from sklearn.linear_model import SGDClassifier
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.datasets import make_classification

X, y = make_classification(n_samples=100_000, random_state=0)
pipe = Pipeline([("sc", StandardScaler()), ("sgd", SGDClassifier())])
pipe.fit(X, y)
print(pipe.score(X, y))

正則化パス

RidgeCVまたはLassoCVを使ってグリッド上でalphaを変化させると、交差検証によって最適なalphaが自動的に選択されます。

from sklearn.linear_model import RidgeCV, LassoCV
from sklearn.datasets import make_regression

X, y = make_regression(n_features=20, noise=10, random_state=0)
ridge = RidgeCV(alphas=[0.1, 1, 10]).fit(X, y)
print("Best alpha:", ridge.alpha_)

確認問題

Ridge回帰とLasso回帰の主な違いは何ですか。

まとめ

回帰にはLinearRegression、分類にはLogisticRegressionを使用します。正則化にはRidgeまたはLassoを追加します。特徴量は必ずスケーリングします。非線形の問題にはPolynomialFeaturesを使用します。評価には、回帰ではr2_score、分類ではaccuracy_scoreを使用します。

よくある質問

「線形モデル: 回帰と分類」レッスンは無料ですか？

はい。「線形モデル: 回帰と分類」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、Python Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 Python Academyコースには全4レッスンが含まれています。

「線形モデル: 回帰と分類」で何を学びますか？

線形回帰モデルとロジスティック回帰モデルを訓練します。 ブラウザで直接実行するハンズオンコードでPython Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。

Python Academyを始めるのに経験は必要ですか？

事前経験は必要ありません。CoddyKitのPython Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン2/4です。

「線形モデル: 回帰と分類」レッスンにはどのくらい時間がかかりますか？

ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。

このPython Academyレッスンでコードを書いて実行できますか？

はい。すべてのPython Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。

このコースのすべてのレッスン

  1. scikit-learn API: fit、transform、predict
  2. 線形モデル: 回帰と分類
  3. 木ベースモデル: 決定木とランダムフォレスト
  4. モデル評価と交差検証
← Python Academyに戻る