Membina Saluran Pemprosesan Awal
Pipeline sklearn, ColumnTransformer dan penggabungan pengubah untuk aliran kerja pemprosesan awal yang kemas.
Membina Saluran Pemprosesan Awal ialah pelajaran Pelajari AI dengan Python percuma di CoddyKit. Ini ialah pelajaran 4 daripada 4. Sebanyak 3 pelajaran dalam laluan pembelajaran ini boleh dibaca sepenuhnya secara percuma — selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan praktikal dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Pelajari AI dengan Python, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Pelajari AI dengan Python merangkumi sejumlah 4 pelajaran.
Mengapa Saluran Paip?
Saluran paip scikit-learn menggabungkan langkah prapemprosesan dan model menjadi satu objek. Ia menjamin transformasi yang sama digunakan pada data latihan dan ujian, sekali gus menghalang kebocoran dan kod yang berserabut.
Saluran Paip Asas
Pipeline menerima senarai tupel (nama, langkah). Apabila fit dipanggil, setiap langkah dijalankan mengikut turutan; langkah terakhir biasanya ialah penganggar.
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
pipe = Pipeline([
("scale", StandardScaler()),
("model", LogisticRegression()),
])fit dan predict untuk Keseluruhan Saluran Paip
Anggap saluran paip sebagai satu model. fit mempelajari penskala AND melatih model; predict menggunakan penskala kemudian model, secara automatik dan konsisten.
pipe.fit(X_train, y_train)
preds = pipe.predict(X_test) # scaling applied automaticallyTiada Kebocoran melalui Reka Bentuk
Oleh sebab saluran paip hanya melakukan fit terhadap penskala semasa fit (pada data latihan) dan sekadar melakukan transformasi semasa predict, kesilapan fit pada data ujian dihapuskan secara automatik.
Jenis Lajur yang Bercampur
Set data sebenar mencampurkan lajur NUMERIC dan CATEGORICAL yang memerlukan prapemprosesan berbeza. ColumnTransformer menggunakan penukar yang berbeza pada setiap subkumpulan lajur.
ColumnTransformer
Berikan tupel (nama, pengubah, lajur). Lajur numerik diskalakan; lajur kategori dikodkan secara binari, semuanya dalam satu langkah.
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder
pre = ColumnTransformer([
("num", StandardScaler(), ["age", "income"]),
("cat", OneHotEncoder(handle_unknown="ignore"), ["city"]),
])Penyarangan dalam Saluran Paip Lengkap
Letakkan ColumnTransformer sebagai langkah pertama dalam Pipeline, diikuti oleh model, untuk aliran kerja lengkap tanpa kebocoran.
full = Pipeline([
("prep", pre),
("model", LogisticRegression()),
])
full.fit(X_train, y_train)Mengendalikan Nilai Hilang dalam Satu Langkah
Tambahkan SimpleImputer dalam cabang numerik (selalunya ia sendiri merupakan saluran paip kecil) untuk mengisi nilai hilang sebelum penskalaan, sambil mengekalkan semuanya dalam saluran paip.
from sklearn.impute import SimpleImputer
num_pipe = Pipeline([
("impute", SimpleImputer(strategy="median")),
("scale", StandardScaler()),
])fit_transform pada Data Latihan, transform pada Data Ujian
Peraturan emas yang sama terpakai pada keseluruhan saluran paip: ia mempelajari setiap parameter daripada data latihan semasa fit, kemudian hanya melakukan transformasi pada data ujian semasa predict atau transform.
full.fit(X_train, y_train) # learns imputer, scaler, encoder, model
full.predict(X_test) # transform-only pathMenyimpan Saluran Paip
Simpan keseluruhan saluran paip yang telah difit, iaitu prapemprosesan bersama model, ke cakera dengan joblib. Apabila dimuatkan kemudian, saluran paip itu menggunakan prapemprosesan yang sama dalam pengeluaran tanpa langkah manual untuk mengulanginya.
import joblib
joblib.dump(full, "model.joblib")
loaded = joblib.load("model.joblib")
loaded.predict(X_new) # same preprocessing guaranteedMengapa Ini Penting dalam Pengeluaran
Saluran paip yang disimpan bermakna model yang digunakan mempraproses data masuk EXACTLY seperti semasa latihan. Konsistensi ini merupakan pertahanan terbesar terhadap pepijat ketakselarasan antara latihan dan penyajian.
Semakan Pantas
Uji pengetahuan anda tentang saluran paip.
Rumusan
Kit alat saluran paip:
Pipelinemenggabungkan prapemprosesan + model menjadi satu objek fit/predict- Tiada kebocoran: parameter dipelajari melalui
fitdan digunakan melaluipredict ColumnTransformermengendalikan lajur numerik/kategori yang bercampurSimpleImputeruntuk nilai hilang dalam saluran paip- Simpan dengan
joblibuntuk prapemprosesan pengeluaran yang konsisten
Pelajari Python dengan tutor kecerdasan buatan — percuma
Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.
- Kursus
- 53
- Pelajaran
- 225
Soalan Lazim
Adakah pelajaran “Membina Saluran Pemprosesan Awal” percuma?
Ya — sebanyak 3 pelajaran dalam laluan pembelajaran Pelajari AI dengan Python, termasuk “Membina Saluran Pemprosesan Awal”, boleh dibaca sepenuhnya secara percuma di web ini. Selepas itu, CoddyKit PRO membuka akses kepada semua pelajaran, serta latihan interaktif dengan penyunting kod terbina dalam dan tutor kecerdasan buatan yang tersedia 24/7. Kursus Pelajari AI dengan Python merangkumi sejumlah 4 pelajaran.
Apakah yang akan saya pelajari dalam “Membina Saluran Pemprosesan Awal”?
Pipeline sklearn, ColumnTransformer dan penggabungan pengubah untuk aliran kerja pemprosesan awal yang kemas. Anda berlatih Pelajari AI dengan Python menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.
Adakah saya memerlukan pengalaman untuk memulakan Pelajari AI dengan Python?
Tiada pengalaman terdahulu diperlukan. Pembelajaran Pelajari AI dengan Python di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 4 daripada 4.
Berapa lamakah pelajaran “Membina Saluran Pemprosesan Awal” diambil?
Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.
Bolehkah saya menulis dan menjalankan kod dalam pelajaran Pelajari AI dengan Python ini?
Ya. Setiap pelajaran Pelajari AI dengan Python menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.
Semua pelajaran dalam kursus ini
- Pengesanan dan Pembuangan Pencilan
- Pengekodan Pemboleh Ubah Kategori
- Penskalaan Ciri: Normalisasi dan Standardisasi
- Membina Saluran Pemprosesan Awal