Nsight Compute의 커널 지표

Nsight Compute는 단일 커널을 위한 현미경입니다. 하드웨어 지표를 깊이 수집하여 커널이 느리게 실행되는 정확한 이유를 확인할 수 있습니다. 🔬

명령줄에서 ncu로 커널을 프로파일링합니다. 자세한 카운터를 수집하기 위해 커널을 여러 번 재실행합니다.

가장 먼저 읽어야 할 것은 처리량입니다. 연산 장치와 메모리 파이프가 얼마나 바쁜지를 최대 성능 대비 백분율로 보여 줍니다.

정지란 현재 주기에 진행할 수 없는 워프입니다. Nsight Compute는 정지를 원인별로 분류하므로 무엇을 수정해야 하는지 알 수 있습니다.

대부분의 정지 원인이 메모리라면 커널이 데이터를 기다리고 있다는 뜻입니다. 계산을 더 추가할 것이 아니라 더 나은 접근 패턴이나 재사용이 해결책입니다.

실제 달성 점유율은 실제로 활성화된 워프 수를 최대 워프 수와 비교해 보여 줍니다. 값이 낮으면 지연 시간을 숨기기에 워프가 부족한 경우가 많습니다.

루프라인은 커널을 하드웨어 한계와 비교해 표시합니다. 점이 어디에 놓이는지 보면 연산과 메모리 중 무엇이 한계인지 알 수 있습니다.

Nsight Compute는 이해하기 쉬운 문장으로 권장 사항을 작성합니다. 가장 큰 병목을 알려 주므로 처음부터 추측할 필요가 없습니다.

L1 및 L2 캐시 카운터는 읽기가 캐시에 적중하는 빈도를 보여 줍니다. 적중률이 높을수록 느린 전역 메모리에 접근하는 횟수가 줄어듭니다.

두 보고서를 나란히 비교할 수 있습니다. 이를 통해 최신 변경 사항이 지표를 실제로 개선했는지 쉽게 확인할 수 있습니다.

커널을 재실행하기 때문에 프로파일링 오버헤드가 큽니다. 일반 실행처럼 사용하지 말고 한 번에 커널 하나에 사용하십시오.

커널 보고서에 메모리 관련 워프 정지가 대부분으로 표시됩니다.

Nsight Compute는 한 커널의 지표인 처리량, 정지, 점유율, 루프라인을 보여 줍니다. 무엇을 최적화해야 하는지 정확히 확인할 때 사용하십시오. 👏