PricingLoginStart free
Python Academy · Pelajaran

Asas multiprocessing

Gunakan berbilang teras CPU

Pelajaran 3 daripada 413 langkah

Asas multiprocessing ialah pelajaran Python Academy percuma di CoddyKit. Ini ialah pelajaran 3 daripada 4. Anda boleh membaca keseluruhan pelajaran di bawah secara percuma — kemudian berlatih secara praktikal dalam pelayar menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7. Pelajaran ini merupakan sebahagian daripada laluan pembelajaran Python Academy, dan kemajuan anda disegerakkan merentas web serta aplikasi CoddyKit. Kursus Python Academy merangkumi sejumlah 4 pelajaran.

Mengapa pemprosesan berbilang?

GIL menghalang urutan daripada menjalankan kod bait Python secara selari. Modul pemprosesan berbilang mengatasi halangan ini dengan melancarkan proses berasingan, setiap satunya dengan penterjemah dan GIL sendiri, supaya tugas yang terikat CPU benar-benar berjalan pada berbilang teras.

import multiprocessing as mp
print('CPU cores available:', mp.cpu_count())

Memulakan Process

Process(target=func) mencerminkan antara muka API pengurusan urutan. Panggil start() untuk melancarkan proses dan join() untuk menunggu.

import multiprocessing as mp

def worker():
    print('hello from a child process')

if __name__ == '__main__':
    p = mp.Process(target=worker)
    p.start()
    p.join()
    print('parent done')

Pengawal __main__

Pada sesetengah platform, proses anak mengimport skrip anda. Tanpa pengawal if __name__ == '__main__':, anda mungkin melancarkan proses secara berulang. Sentiasa bungkus kod pelancaran di dalamnya.

import multiprocessing as mp

def task(n):
    print('processing', n)

if __name__ == '__main__':
    for i in range(3):
        p = mp.Process(target=task, args=(i,))
        p.start()
        p.join()

Menghantar Argumen

Gunakan args untuk argumen kedudukan dan kwargs untuk argumen kata kunci, sama seperti urutan. Argumen disiri dan dihantar kepada proses anak.

import multiprocessing as mp

def show(label, times):
    for _ in range(times):
        print(label)

if __name__ == '__main__':
    p = mp.Process(target=show, args=('hi',), kwargs={'times': 2})
    p.start()
    p.join()

Kumpulan Worker

multiprocessing.Pool mengurus sekumpulan proses. pool.map membahagikan objek boleh lelar kepada proses-proses tersebut dan mengumpulkan hasil mengikut turutan.

import multiprocessing as mp

def square(n):
    return n * n

if __name__ == '__main__':
    with mp.Pool(processes=2) as pool:
        print(pool.map(square, range(6)))

ProcessPoolExecutor

API concurrent.futures turut menawarkan ProcessPoolExecutor, dengan antara muka submit/map yang sama seperti yang anda lihat untuk urutan.

from concurrent.futures import ProcessPoolExecutor

def cube(n):
    return n ** 3

if __name__ == '__main__':
    with ProcessPoolExecutor() as ex:
        print(list(ex.map(cube, range(5))))

Ruang Memori Berasingan

Setiap proses mempunyai memorinya sendiri. Mengubah suai pemboleh ubah global dalam proses anak tidak mengubah salinan induk. Data mesti dikembalikan atau dikongsi secara eksplisit.

import multiprocessing as mp

counter = 0

def bump():
    global counter
    counter += 100

if __name__ == '__main__':
    p = mp.Process(target=bump)
    p.start()
    p.join()
    print('parent counter still:', counter)

Mendapatkan Semula Hasil

Oleh sebab memori tidak dikongsi, kembalikan hasil melalui Pool.map, pelaksana atau baris gilir, bukannya dengan mengubah suai pemboleh ubah global.

import multiprocessing as mp

def double(n):
    return n * 2

if __name__ == '__main__':
    with mp.Pool(2) as pool:
        results = pool.map(double, [1, 2, 3, 4])
    print('results:', results)

apply_async untuk Panggilan Tunggal

apply_async menjadualkan satu panggilan dan mengembalikan pemegang hasil. Panggil .get() untuk mendapatkan semula nilainya.

import multiprocessing as mp

def add(a, b):
    return a + b

if __name__ == '__main__':
    with mp.Pool(2) as pool:
        r = pool.apply_async(add, (3, 4))
        print(r.get())

Keperluan Pempickelan

Sasaran dan argumen mestilah boleh disiri supaya dapat melintasi sempadan proses. Fungsi aras teratas boleh digunakan; fungsi tanpa nama dan fungsi setempat biasanya tidak boleh digunakan.

import multiprocessing as mp

def top_level(n):
    return n + 1

if __name__ == '__main__':
    with mp.Pool(2) as pool:
        print(pool.map(top_level, [10, 20]))

Bila Perlu Menggunakan Proses

Gunakan proses untuk kerja yang terikat CPU: matematik, pemprosesan imej dan penghuraian. Overhed untuk melancarkan proses dan melakukan pempickelan bermakna proses lebih sesuai untuk tugasan yang lebih sedikit tetapi lebih berat, bukannya banyak tugasan kecil.

import multiprocessing as mp

def heavy(n):
    return sum(i * i for i in range(n))

if __name__ == '__main__':
    with mp.Pool() as pool:
        print(pool.map(heavy, [1000, 2000, 3000]))

Semakan Pantas

Uji pemahaman anda tentang pemprosesan berbilang.

Jawab dalam pelajaran interaktif

Ringkasan

Anda telah mempelajari asas pemprosesan berbilang:

  • Proses memintas GIL untuk keselarian CPU sebenar.
  • Gunakan pengawal if __name__ == '__main__'.
  • Pool dan ProcessPoolExecutor mengagihkan kerja dan mengumpulkan hasil.
  • Memori tidak dikongsi; argumen mestilah boleh disiri.

Seterusnya: berkongsi data dengan selamat menggunakan baris gilir dan kunci.

Percuma untuk bermula

Pelajari Python dengan tutor kecerdasan buatan — percuma

Tulis dan jalankan kod sebenar dalam pelayar anda, dapatkan bantuan segera daripada tutor kecerdasan buatan yang tersedia 24/7, dan sambung semula dari tempat anda berhenti di web atau dalam aplikasi.

Kursus
76
Pelajaran
320
Mula belajar secara percumaLihat kursus penuh

Soalan Lazim

Adakah pelajaran “Asas multiprocessing” percuma?

Ya — teks penuh “Asas multiprocessing” boleh dibaca secara percuma di web ini. Untuk berlatih secara interaktif menggunakan penyunting kod terbina dalam dan tutor kecerdasan buatan 24/7, serta membuka kunci baki kursus Python Academy, tingkat taraf kepada CoddyKit PRO. Kursus Python Academy merangkumi sejumlah 4 pelajaran.

Apakah yang akan saya pelajari dalam “Asas multiprocessing”?

Gunakan berbilang teras CPU Anda berlatih Python Academy menggunakan kod praktikal yang dijalankan terus dalam pelayar, manakala tutor kecerdasan buatan 24/7 menjawab soalan anda semasa anda mengikuti pelajaran.

Adakah saya memerlukan pengalaman untuk memulakan Python Academy?

Tiada pengalaman terdahulu diperlukan. Pembelajaran Python Academy di CoddyKit disusun untuk pelajar daripada peringkat pemula hingga lanjutan, jadi anda boleh bermula di sini atau dari awal dan belajar mengikut kadar anda sendiri. Ini ialah pelajaran 3 daripada 4.

Berapa lamakah pelajaran “Asas multiprocessing” diambil?

Kebanyakan pelajaran CoddyKit mengambil masa kira-kira 5–10 minit. Setiap pelajaran ringkas dan interaktif, jadi anda boleh membuat kemajuan secara berterusan dan menyambung tepat dari tempat anda berhenti di web atau aplikasi.

Bolehkah saya menulis dan menjalankan kod dalam pelajaran Python Academy ini?

Ya. Setiap pelajaran Python Academy menyertakan penyunting kod terbina dalam, jadi anda boleh menulis dan menjalankan kod sebenar terus dalam pelayar serta menerima maklum balas kecerdasan buatan serta-merta — tanpa memerlukan persediaan setempat.

Semua pelajaran dalam kursus ini

  1. Thread dan GIL
  2. ThreadPoolExecutor
  3. Asas multiprocessing
  4. Berkongsi Data dengan Selamat
← Kembali ke Python Academy