Python Academy · 강의

multiprocessing 기초

여러 CPU 코어 사용하기

multiprocessing 기초은(는) CoddyKit의 무료 Python Academy 강의입니다. 이것은 4개 중 3번째 강의입니다. 아래에서 전체 강의를 무료로 읽을 수 있으며, 내장 코드 에디터와 24/7 AI 튜터와 함께 브라우저에서 직접 실습할 수 있습니다. 이 강의는 Python Academy 학습 경로의 일부이며, 진행 상황이 웹과 CoddyKit 앱에 동기화됩니다. Python Academy 강의에는 총 4개의 강의가 포함되어 있습니다.

왜 멀티프로세싱인가요

GIL은 스레드가 파이썬 바이트코드를 병렬로 실행하지 못하게 합니다. multiprocessing 모듈은 각자 고유한 인터프리터와 GIL을 가진 별도의 프로세스를 실행하여 이 제약을 우회하므로, CPU 중심 작업을 실제로 여러 코어에서 실행할 수 있습니다.

import multiprocessing as mp
print('CPU cores available:', mp.cpu_count())

프로세스 시작

Process(target=func)는 스레딩 API와 비슷하게 작동합니다. start()를 호출하여 시작하고 join()을 호출하여 기다립니다.

import multiprocessing as mp

def worker():
    print('hello from a child process')

if __name__ == '__main__':
    p = mp.Process(target=worker)
    p.start()
    p.join()
    print('parent done')

main 보호문

일부 플랫폼에서는 자식 프로세스가 스크립트를 가져옵니다. if __name__ == '__main__': 보호문이 없으면 프로세스가 재귀적으로 생성될 수 있습니다. 실행 코드는 항상 이 보호문 안에 넣으세요.

import multiprocessing as mp

def task(n):
    print('processing', n)

if __name__ == '__main__':
    for i in range(3):
        p = mp.Process(target=task, args=(i,))
        p.start()
        p.join()

인수 전달

스레드와 마찬가지로 위치 인수에는 args를, 키워드 인수에는 kwargs를 사용합니다. 인수는 피클로 직렬화되어 자식 프로세스로 전송됩니다.

import multiprocessing as mp

def show(label, times):
    for _ in range(times):
        print(label)

if __name__ == '__main__':
    p = mp.Process(target=show, args=('hi',), kwargs={'times': 2})
    p.start()
    p.join()

작업자 풀

multiprocessing.Pool은 프로세스 그룹을 관리합니다. pool.map은 반복 가능한 객체를 프로세스들에 나누어 전달하고 결과를 순서대로 모읍니다.

import multiprocessing as mp

def square(n):
    return n * n

if __name__ == '__main__':
    with mp.Pool(processes=2) as pool:
        print(pool.map(square, range(6)))

ProcessPoolExecutor

concurrent.futures API는 스레드에서 보았던 것과 동일한 submit/map 인터페이스를 갖춘 ProcessPoolExecutor도 제공합니다.

from concurrent.futures import ProcessPoolExecutor

def cube(n):
    return n ** 3

if __name__ == '__main__':
    with ProcessPoolExecutor() as ex:
        print(list(ex.map(cube, range(5))))

분리된 메모리 공간

각 프로세스는 자체 메모리를 가집니다. 자식 프로세스에서 전역 변수를 수정해도 부모 프로세스의 복사본은 변경되지 않습니다. 데이터는 명시적으로 반환하거나 공유해야 합니다.

import multiprocessing as mp

counter = 0

def bump():
    global counter
    counter += 100

if __name__ == '__main__':
    p = mp.Process(target=bump)
    p.start()
    p.join()
    print('parent counter still:', counter)

결과 가져오기

메모리를 공유하지 않으므로 전역 변수를 수정하기보다는 Pool.map, 실행기 또는 큐를 통해 결과를 반환하세요.

import multiprocessing as mp

def double(n):
    return n * 2

if __name__ == '__main__':
    with mp.Pool(2) as pool:
        results = pool.map(double, [1, 2, 3, 4])
    print('results:', results)

단일 호출에 apply_async 사용

apply_async는 하나의 호출을 예약하고 결과 핸들을 반환합니다. .get()을 호출하여 값을 가져오세요.

import multiprocessing as mp

def add(a, b):
    return a + b

if __name__ == '__main__':
    with mp.Pool(2) as pool:
        r = pool.apply_async(add, (3, 4))
        print(r.get())

피클링 요구 사항

대상과 인수는 프로세스 경계를 넘어 전달될 수 있도록 피클링 가능해야 합니다. 최상위 함수는 작동하지만 람다와 지역 함수는 일반적으로 작동하지 않습니다.

import multiprocessing as mp

def top_level(n):
    return n + 1

if __name__ == '__main__':
    with mp.Pool(2) as pool:
        print(pool.map(top_level, [10, 20]))

프로세스를 사용하는 경우

CPU 중심 작업인 수학 계산, 이미지 처리, 구문 분석에는 프로세스를 사용하세요. 프로세스를 생성하고 피클링하는 데 드는 추가 비용 때문에 프로세스는 작고 많은 작업보다는 수가 적고 무거운 작업에 적합합니다.

import multiprocessing as mp

def heavy(n):
    return sum(i * i for i in range(n))

if __name__ == '__main__':
    with mp.Pool() as pool:
        print(pool.map(heavy, [1000, 2000, 3000]))

빠른 확인

멀티프로세싱에 대한 이해도를 확인해 보세요.

복습

멀티프로세싱 기초를 배웠습니다:

프로세스는 GIL을 우회하여 실제 CPU 병렬 처리를 가능하게 합니다.
if __name__ == '__main__' 보호문을 사용하세요.
Pool과 ProcessPoolExecutor는 작업을 분배하고 결과를 모읍니다.
메모리는 공유되지 않으며, 인수는 피클링 가능해야 합니다.

다음: 큐와 잠금 장치로 데이터를 안전하게 공유하는 방법입니다.

자주 묻는 질문