Раздельные адресные пространства

У CPU и GPU есть собственная RAM. Они не используют общее адресное пространство, и этот факт определяет всю работу CUDA. 🧠

Указатель — это всего лишь число, обозначающее ячейку памяти. Эта ячейка имеет смысл только в том адресном пространстве, где указатель был создан.

Указатель, полученный из malloc, обозначает память хоста. На GPU такой ячейки нет, поэтому передача этого указателя ядру указывает в недопустимое место.

Указатель, полученный из cudaMalloc, обозначает память устройства. CPU не может читать её напрямую: разыменование на хосте приводит к сбою.

Передача указателя хоста ядру успешно компилируется, но завершается ошибкой во время выполнения. Само число допустимо, но обозначенная им память находится не на GPU.

Для C++ оба указателя выглядят как один и тот же тип, поэтому компилятор не выдаёт предупреждений. Несоответствие проявляется только тогда, когда GPU обращается к адресу.

Чтобы перемещать данные между пространствами, необходимо явно копировать их с помощью cudaMemcpy. Автоматического общего доступа между ними нет.

Многие программисты добавляют префикс h_ к указателям хоста, а к указателям устройства — d_. Эта привычка предотвращает неприятные ошибки смешения.

Внутри ядра каждый разыменовываемый указатель должен находиться в памяти устройства. Это единственное пространство, доступное потокам GPU.

Позже вы познакомитесь с унифицированной памятью — одним указателем, действительным с обеих сторон. А пока строго разделяйте указатели хоста и устройства.

Представьте две комнаты без общих полок. Чтобы использовать данные из другой комнаты, необходимо перенести копию, а не просто указать через границу.

Вы узнали, что хост и устройство находятся в раздельных адресных пространствах, указатели несовместимы, а cudaMemcpy используется для передачи данных через границу. ✅