cuDNN для глубокого обучения
Свёртки и операции над тензорами в больших масштабах
«cuDNN для глубокого обучения» — бесплатный урок CUDA Academy на CoddyKit. Это урок 4 из 4. Ты можешь прочитать весь урок бесплатно ниже — а потом практиковать его прямо в браузере с встроенным редактором кода и ИИ-репетитором 24/7. Это часть пути обучения CUDA Academy, и твой прогресс синхронизируется между веб-версией и приложением CoddyKit. Курс CUDA Academy содержит 4 уроков всего.
Части этого урока еще не переведены и отображаются на английском.
The Engine Behind AI Frameworks
cuDNN is NVIDIA's deep learning library. PyTorch and TensorFlow lean on it for fast convolutions and other neural net building blocks. 🧠
Why Convolutions Need Help
A convolution slides a small filter over an image, doing huge amounts of math. cuDNN implements it far faster than a naive kernel.
Start With a Handle
Like cuBLAS, cuDNN holds state in a handle you create once and reuse for every operation, then destroy at shutdown.
cudnnHandle_t h;
cudnnCreate(&h);Describe Your Data
cuDNN works through descriptors. A tensor descriptor records shape, data type, and layout so the library knows exactly what it is processing.
cudnnTensorDescriptor_t xDesc;
cudnnCreateTensorDescriptor(&xDesc);The NCHW Layout
Tensors are typically NCHW: batch, channels, height, width. Setting this layout correctly is essential for the math to line up.
cudnnSetTensor4dDescriptor(xDesc,
CUDNN_TENSOR_NCHW, CUDNN_DATA_FLOAT, N, C, H, W);Filters Get Their Own Descriptor
The convolution kernel weights use a separate filter descriptor describing output channels, input channels, and filter height and width.
cudnnFilterDescriptor_t wDesc;
cudnnCreateFilterDescriptor(&wDesc);Convolution Settings
A convolution descriptor stores padding, stride, and dilation, the knobs that decide how the filter sweeps across the input tensor.
Pick an Algorithm
cuDNN offers several convolution algorithms with different speed and memory tradeoffs. You query for the best one for your tensor shapes.
Reserve a Workspace
Fast algorithms need scratch space. You allocate a workspace buffer on the device whose size cuDNN tells you in advance.
size_t bytes;
cudnnGetConvolutionForwardWorkspaceSize(...,&bytes);Run the Forward Pass
cudnnConvolutionForward ties it all together: handle, descriptors, algorithm, and workspace produce the output feature map in one call.
cudnnConvolutionForward(h, &alpha, xDesc, x,
wDesc, w, convDesc, algo, ws, bytes, &beta, yDesc, y);More Than Convolutions
cuDNN also accelerates pooling, activations, and normalization, the other layers that make up a modern neural network.
Quick Check
Recall what cuDNN is built to accelerate.
Recap
You set up a handle, described tensors and filters in NCHW, chose an algorithm with a workspace, and ran a convolution forward pass. 🎓
Часто задаваемые вопросы
Урок «cuDNN для глубокого обучения» бесплатный?
Да — полный текст урока «cuDNN для глубокого обучения» бесплатно доступен здесь в веб-версии. Чтобы практиковать его интерактивно (встроенный редактор кода и ИИ-репетитор 24/7) и разблокировать остальной курс CUDA Academy, подпишись на CoddyKit PRO. Курс CUDA Academy содержит 4 уроков всего.
Чему я научусь в уроке «cuDNN для глубокого обучения»?
Свёртки и операции над тензорами в больших масштабах Ты практикуешь CUDA Academy с помощью реального кода, который запускаешь прямо в браузере, и ИИ-репетитор 24/7 отвечает на твои вопросы во время урока.
Нужен ли мне опыт, чтобы начать CUDA Academy?
Предыдущий опыт не требуется. CUDA Academy на CoddyKit структурирован для всех уровней — от новичков до продвинутых, поэтому ты можешь начать отсюда или с самого начала и учиться в своем темпе. Это урок 4 из 4.
Сколько времени занимает урок «cuDNN для глубокого обучения»?
Большинство уроков CoddyKit занимают около 5–10 минут. Каждый из них компактный и интерактивный, поэтому ты постоянно делаешь прогресс и продолжаешь с того же места в веб-версии и приложении.
Можно ли писать и запускать код в этом уроке CUDA Academy?
Да. Каждый урок CUDA Academy включает встроенный редактор кода, поэтому ты пишешь и запускаешь реальный код прямо в браузере и получаешь моментальную обратную связь от AI — локальная установка не требуется.
Все уроки этого курса
- Правильное использование GEMM в cuBLAS
- Векторы и преобразования Thrust
- Сокращение, сканирование и сортировка в Thrust
- cuDNN для глубокого обучения