Что такое CUDA на самом деле

Вы уже увидели, почему GPU работают быстро. CUDA — это инструмент, который позволяет писать для них код на C++. Пора познакомиться с ним поближе. 🚀

CUDA — платформа NVIDIA для вычислений общего назначения на GPU. Она позволяет запускать на GPU собственные программы, а не только обрабатывать графику.

CUDA C++ — это обычный C++ с несколькими дополнительными ключевыми словами и функциями. Если Вы знаете C++, то большая часть CUDA с самого начала покажется знакомой.

Функция, которую Вы помечаете для запуска на GPU, называется ядром. Тысячи потоков будут параллельно выполнять одну и ту же функцию.

Пометка __global__ обозначает функцию как ядро: её можно вызвать с CPU, но выполняется она на GPU. Это Ваш путь к устройству.

В терминологии CUDA сторона с CPU называется хостом, а сторона с GPU — устройством. Вы будете постоянно слышать эти два слова, поэтому запомните их сейчас.

CUDA предоставляет удобный программный интерфейс среды выполнения: такие функции, как cudaMalloc и cudaMemcpy, управляют памятью GPU и перемещают данные за Вас.

Код CUDA собирается с помощью nvcc. Он разделяет Ваш файл, передаёт код хоста обычному компилятору, а код устройства — компилятору GPU.

CUDA работает только на GPU компании NVIDIA. Такая тесная интеграция объясняет высокую оптимизацию, но также означает зависимость от конкретного производителя.

В CUDA входят оптимизированные библиотеки, например cuBLAS для матриц и cuDNN для глубокого обучения, поэтому Вам редко приходится решать сложную задачу с нуля.

Зрелые инструменты, быстрые библиотеки и развитая поддержка экосистемы сделали CUDA стандартным способом выполнять вычисления на GPU в науке и искусственном интеллекте.

CUDA — это платформа NVIDIA, которая расширяет C++ ядрами, программным интерфейсом среды выполнения и компилятором nvcc, чтобы Ваш код мог выполняться на GPU. 👍