핵심 병렬화와 튜닝

이제 커널은 코어 하나에서도 Python보다 빠릅니다. 다음으로 모든 코어에 작업을 분산하고 Mojo가 컴퓨터에 맞게 조정하도록 하십시오. ⚡

현대 CPU에는 놀고 있는 코어가 많습니다. 병렬성을 사용하면 각 코어가 데이터의 일부를 동시에 처리하여 크게 속도를 높일 수 있습니다.

Mojo의 parallelize는 반복문의 chunk를 여러 스레드에서 대신 실행합니다. 작업과 이를 나눌 조각의 수를 지정하면 됩니다.

작업의 한 chunk를 작은 함수 하나로 표현하십시오. parallelize는 각 chunk마다 한 번씩 해당 함수를 호출하며, 각 호출은 자체 코어에서 실행됩니다.

데이터를 코어마다 하나씩 배정되도록 거의 같은 크기의 chunk로 나누십시오. 균형 잡힌 조각을 사용하면 한 스레드가 뒤처지지 않고 모든 스레드가 계속 작업할 수 있습니다.

각 chunk 안에서 SIMD 계산을 유지하십시오. 그러면 두 가지 이점을 동시에 얻습니다. 여러 코어가 각각 한 명령마다 벡터를 계산합니다.

두 스레드가 같은 위치에 쓰면 데이터 경쟁이 발생합니다. 각 chunk에 자체 출력 구간을 할당하여 쓰기가 서로 충돌하지 않게 하십시오.

타일 크기와 SIMD 너비를 매개변수로 바꾸십시오. 조정 손잡이를 마련하면 커널을 다시 작성하지 않고도 여러 설정을 시도할 수 있습니다.

최적의 설정은 컴퓨터마다 다릅니다. 자동 조정은 후보 매개변수 값을 시도하고 각각의 시간을 측정한 뒤 가장 빠른 조합을 유지합니다.

가장 좋은 타일과 너비를 알게 되면 이를 선택한 구성으로 고정하십시오. 이제 커널은 하드웨어에 맞게 특화되었습니다.

조정한 스레드 기반 커널을 실행하고 기준 구현과 비교합니다. 여러 코어가 동시에 기록하더라도 정확성은 여전히 유지되어야 합니다.

균형 잡힌 작업 단위에 병렬화를 적용하고, 각 작업 단위 안에서는 SIMD를 유지했으며, 데이터 경합을 피한 다음 매개변수를 자동으로 조정했습니다. 이제 핵심은 여러 코어에서 빠르게 실행됩니다. 🎯