CUDA Academy · 课时

正确使用 cuBLAS GEMM

Q: 「正确使用 cuBLAS GEMM」这节课中我会学到什么？

句柄、列主序与前导维度 你通过在浏览器中直接运行的动手代码来练习 CUDA Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

句柄、列主序与前导维度

第 1 / 4 课13 个步骤

正确使用 cuBLAS GEMM 是 CoddyKit 上的免费 CUDA Academy 课时。这是第 1 节课，共 4 节。你可以在下方免费阅读本课时的完整内容 — 然后在浏览器中使用内置代码编辑器和全天候 AI 导师进行实践。这是 CUDA Academy 学习路径的一部分，你的进度在网页和 CoddyKit 应用中同步。 CUDA Academy 课程共包含 4 节课。

站在 NVIDIA 的肩膀上

手写高性能矩阵乘法很困难。cuBLAS 提供了经过充分验证的 GEMM，能够让您的 GPU 接近峰值性能。🚀

GEMM 的含义

GEMM 代表通用矩阵乘法。它计算 C = alpha * A * B + beta * C，是图形处理和深度学习背后的核心运算。

C = alpha * (A * B) + beta * C

每次调用都需要句柄

cuBLAS 将状态保存在一个句柄中。您可以在启动时创建它，在每次调用中重复使用，并在结束时销毁它。

cublasHandle_t h;
cublasCreate(&h);
// ... use h ...
cublasDestroy(h);

列主序的意外之处

cuBLAS 需要使用列主序矩阵，也就是 Fortran 的布局。您的 C++ 数组通常采用行主序，因此这种不匹配几乎会让所有人都遇到问题。

首维

首维告诉 cuBLAS 内存中各列之间的步长。对于紧密排列的 M×N 列主序矩阵，它就是 M。

int lda = M; // rows, column-major stride

转置技巧

一个巧妙的解决办法是：行主序的 A 乘以 B，等于列主序的 B 乘以 A 的转置。许多人会直接交换操作数，而不是转置数据。

标量存放在 alpha 和 beta 中

您需要以指针形式传入 alpha 和 beta。如果要执行不添加其他内容的普通 C = A * B，请使用 alpha = 1 和 beta = 0。

const float alpha = 1.0f, beta = 0.0f;

调用 cublasSgemm

cublasSgemm 是单精度 float GEMM。它很长的参数列表实际上只有维度、转置标志、标量和三个设备指针。

cublasSgemm(h, CUBLAS_OP_N, CUBLAS_OP_N,
  M, N, K, &alpha, dA, M, dB, K, &beta, dC, M);

指针必须位于设备上

dA、dB 和 dC 指向设备内存。如果误传主机指针，cuBLAS 会返回错误，而不是给出结果。

选择精度后缀

字母表示数据类型：S 表示 float，D 表示 double，C 和 Z 表示复数。需要双精度时，请选择 Dgemm。

cublasDgemm(...); // double precision GEMM

检查返回状态

每次 cuBLAS 调用都会返回一个 cublasStatus_t。请将它与 CUBLAS_STATUS_SUCCESS 比较，避免错误的句柄或维度悄无声息地通过。

if (status != CUBLAS_STATUS_SUCCESS) { /* handle */ }

快速检查

想一想 cuBLAS 假定的数据布局。

在交互式课程中回答

回顾

您创建了一个句柄，遵循了列主序布局和首维规则，设置了 alpha 和 beta，并使用设备指针调用了 Sgemm。🎯

免费开始

用 AI 导师学习 C++ — 免费

在浏览器中编写并运行真实代码，获得全天候 AI 导师的即时帮助，并在网页或应用中继续学习。

课程: 30
课程: 120

免费开始学习查看完整课程

常见问题解答

「正确使用 cuBLAS GEMM」课时是免费的吗？

是的 — 「正确使用 cuBLAS GEMM」的完整文本可在网页上免费阅读。要进行交互式练习（内置代码编辑器和全天候 AI 导师）并解锁 CUDA Academy 课程的其余内容，请升级到 CoddyKit PRO。 CUDA Academy 课程共包含 4 节课。

「正确使用 cuBLAS GEMM」这节课中我会学到什么？

句柄、列主序与前导维度你通过在浏览器中直接运行的动手代码来练习 CUDA Academy，全天候 AI 导师会在你学习这节课的过程中回答你的问题。

学习 CUDA Academy 需要有经验吗？

无需任何先前经验。CoddyKit 上的 CUDA Academy 课程适合初学者到高级学习者，你可以从这里开始或从头开始，按照自己的节奏学习。这是第 1 节课，共 4 节。

「正确使用 cuBLAS GEMM」课时需要多长时间？

大多数 CoddyKit 课程大约需要 5–10 分钟。每节课都很精短且互动，所以你能稳步进步，并在网页和应用中从离开的地方继续。

我能在这节 CUDA Academy 课中编写并运行代码吗？

能。每节 CUDA Academy 课都包含内置代码编辑器，你可以在浏览器中直接编写并运行真实代码，并获得即时 AI 反馈 — 无需本地设置。

此课程中的所有课时

← 返回 CUDA Academy