메모리 트랜잭션이란

GPU는 단일 바이트만 따로 가져오지 않습니다. 값 하나만 요청하더라도 메모리를 고정된 크기의 블록으로 이동하며, 이를 메모리 트랜잭션이라고 합니다.

32개 스레드로 이루어진 워프는 동시에 읽기를 요청합니다. 하드웨어는 32개의 요청을 모두 모아 가능한 한 적은 트랜잭션으로 처리하려고 합니다.

전역 메모리는 정렬된 세그먼트로 나뉘며, 일반적으로 크기는 32바이트 또는 128바이트입니다. 각 트랜잭션은 부분이 아닌 전체 세그먼트 하나를 가져옵니다.

128바이트 라인에는 4바이트 실수 32개가 정확히 들어갑니다. 워프의 각 스레드에 하나씩 해당하므로, 정돈된 워프는 단일 트랜잭션으로 처리될 수 있습니다.

세그먼트는 고정된 정렬 주소에서 시작합니다. 데이터가 세그먼트 중간에서 시작하면 하나의 워프가 두 라인에 걸쳐 접근할 수 있어 추가 트랜잭션이 발생합니다.

워프가 128바이트 라인에서 몇 바이트만 사용하더라도 GPU는 128바이트 전체를 이동합니다. 사용하지 않은 바이트는 어차피 비용을 지불한 낭비된 대역폭입니다.

성능은 대개 한 가지 수치로 결정됩니다. 워프에 필요한 트랜잭션 수입니다. 트랜잭션이 적을수록 읽는 양이 줄어들고 더 빠르게 완료됩니다.

32개 스레드가 정렬된 주소에서 서로 인접한 32개의 실수를 읽으면 GPU는 깔끔한 128바이트 라인 하나로 응답합니다. 이것이 이상적인 단일 트랜잭션입니다.

각 스레드가 이웃 스레드와 멀리 떨어진 값을 가져오면 워프가 최대 32개의 개별 트랜잭션을 발생시켜, 실제 사용량은 적은데 32개의 전체 라인을 가져올 수 있습니다.

대부분의 커널은 연산이 아니라 메모리를 이동하는 속도에 의해 제한됩니다. 트랜잭션 수를 줄이면 유효 대역폭이 직접 증가합니다. 🚀

이제 비용의 단위가 세그먼트 크기의 트랜잭션이라는 것을 알게 되었습니다. 앞으로 배우게 될 모든 코얼레싱 기법은 워프를 가능한 한 적은 수의 트랜잭션에 담는 방법입니다.

GPU가 고정된 세그먼트 단위로 메모리를 이동하며, 워프는 가능한 한 적은 트랜잭션으로 처리된다는 것을 배웠습니다. 트랜잭션이 적을수록 커널은 빨라집니다. 🎉