GPU 메모리를 가리키는 포인터

cudaMalloc은 일반적인 C++ 포인터 변수를 넘겨줍니다. 이 변수는 호스트 메모리에 있지만, 그 안의 주소는 GPU 메모리를 가리킵니다. 🔗

장치 포인터에는 GPU의 주소 공간에서만 유효한 숫자가 들어 있습니다. CPU에서 보면 실제 RAM이 아니라 단순한 정수일 뿐입니다.

프로그래머는 장치 포인터 앞에 d_를, 호스트 포인터 앞에 h_를 붙입니다. 이름만 보아도 각각 어느 쪽에 속하는지 알 수 있습니다.

CPU 코드에서 *d_data를 작성하는 것은 함정입니다. 호스트는 GPU 메모리에 직접 접근할 수 없으므로 충돌하거나 엉뚱한 값을 읽습니다.

커널 내부에서는 같은 장치 포인터가 완전히 유효합니다. 그곳에서 d_data[i]는 예상대로 실제 GPU 메모리를 읽고 씁니다.

장치 포인터를 인수로 커널에 전달합니다. 그러면 GPU가 해당 주소를 사용하여 데이터를 찾습니다.

호스트 포인터와 장치 포인터를 엄격히 구분하십시오. 호스트 포인터는 GPU에서 의미가 없고, 장치 포인터는 CPU에서 의미가 없습니다.

두 공간 사이로 데이터를 옮기려면 복사해야 합니다. cudaMemcpy는 두 포인터를 받아 그 사이로 바이트를 이동해 줍니다.

호스트에서 장치 포인터에 d_data + n과 같이 오프셋을 더해 일부 구간을 가리키게 할 수 있습니다. 단, 그곳에서 포인터를 통해 값을 읽어서는 안 됩니다.

컴파일러는 두 포인터를 혼동해도 막아 주지 않습니다. 많은 CUDA 버그는 장치 포인터가 필요한 곳에 단순히 호스트 포인터를 전달해서 발생합니다.

명확한 이름과 고정된 규칙이 많은 시간을 절약해 줍니다. 일찍 d_ 및 h_ 체계를 정하고 절대 깨뜨리지 마십시오. 🧹

장치 포인터를 어디에서 안전하게 역참조할 수 있는지 확인해 보겠습니다.

장치 포인터는 호스트 변수에 저장되지만 GPU 메모리를 가리킨다는 점을 배웠습니다. 커널 안에서는 사용할 수 있지만 호스트에서 직접 접근할 수는 없습니다. 🎉