計算バウンドとメモリバウンド
Rooflineを読み、改善策を計画します。
「計算バウンドとメモリバウンド」はCoddyKit上の無料CUDA Academyレッスンです。 これはレッスン3/4です。 下記で完全なレッスンを無料で読むことができます。その後、ブラウザ内の組み込みコードエディタと24時間対応のAIチューターでハンズオン演習できます。 これはCUDA Academy学習パスの一部であり、ウェブとCoddyKitアプリ全体で進捗が同期されます。 CUDA Academyコースには全4レッスンが含まれています。
このレッスンの一部はまだ翻訳されておらず、英語で表示されています。
Two Kinds of Limit
Every kernel hits one of two walls. It is either compute-bound, limited by math, or memory-bound, limited by data movement. ⚖️
Compute-Bound, Defined
A compute-bound kernel keeps the math units busy and rarely waits on memory. Its limit is raw arithmetic throughput.
Memory-Bound, Defined
A memory-bound kernel spends its time waiting for data. The cores sit idle while bytes crawl in from global memory.
Arithmetic Intensity
The key ratio is arithmetic intensity: math operations done per byte loaded. High intensity leans compute, low leans memory.
The Roofline Picture
On a roofline plot, low-intensity kernels hit the sloped memory ceiling, while high-intensity ones hit the flat compute ceiling.
Why Diagnosis Matters
Fixing the wrong wall wastes effort. Adding math to a memory-bound kernel changes nothing; you must cut data traffic instead.
Fixing Memory-Bound Kernels
To speed a memory-bound kernel, coalesce accesses, reuse data in shared memory, and cache values to read less.
Fixing Compute-Bound Kernels
For compute-bound work, raise parallelism, use faster math, or reach for tensor cores to push past the math ceiling.
Most Kernels Are Memory-Bound
In practice, the majority of CUDA kernels are memory-bound. Bandwidth, not arithmetic, is usually the scarce resource.
Let the Profiler Decide
Do not guess the wall. The roofline in Nsight Compute places your kernel under the correct ceiling for you.
A Simple Mental Test
Ask one question: are the cores or the memory pipes closer to peak? Whichever is saturated names your bound.
Quick Check
A kernel has very low arithmetic intensity.
Recap
Diagnose the wall first: memory-bound kernels need less traffic, compute-bound ones need more math. The roofline tells you which. 👏
よくある質問
「計算バウンドとメモリバウンド」レッスンは無料ですか？
はい。「計算バウンドとメモリバウンド」の完全なテキストはこのウェブで無料で読めます。インタラクティブに演習し（組み込みコードエディタと24時間対応のAIチューター）、CUDA Academyコースの残りをアンロックするには、CoddyKit PROにアップグレードしてください。 CUDA Academyコースには全4レッスンが含まれています。
「計算バウンドとメモリバウンド」で何を学びますか？
Rooflineを読み、改善策を計画します。 ブラウザで直接実行するハンズオンコードでCUDA Academyを演習し、24時間対応のAIチューターがレッスンを進める中での質問に答えます。
CUDA Academyを始めるのに経験は必要ですか？
事前経験は必要ありません。CoddyKitのCUDA Academyは初級者から上級者向けに構成されているため、ここから始めるか最初から始めて、自分のペースで進むことができます。 これはレッスン3/4です。
「計算バウンドとメモリバウンド」レッスンにはどのくらい時間がかかりますか？
ほとんどのCoddyKitレッスンは約5～10分かかります。各レッスンはコンパクトでインタラクティブなので、着実に進歩し、ウェブとアプリ全体で正確に前回の場所から再開できます。
このCUDA Academyレッスンでコードを書いて実行できますか？
はい。すべてのCUDA Academyレッスンに組み込みコードエディタが含まれているため、ブラウザでリアルコードを書いて実行し、即座のAIフィードバックを取得できます。ローカル設定は不要です。