GPUの競合状態

GPU では、数千のスレッドが同じメモリに同時にアクセスできます。複数のスレッドが同じ場所へ一緒に書き込むと、競合状態が発生します。🏁

競合状態は、最終結果がスレッドの実行順序に左右されるときに発生します。同じコードでも、起動するたびに結果が変わります。

カウンターのインクリメントは、実際には値の読み取り、1の加算、書き戻しという3つの手順です。この読み取り・変更・書き込みの一連の処理で問題が起きます。

2つのスレッドがともに5を読み取り、ともに6を計算し、ともに6を書き込みます。7を期待したのに、結果は6です。片方のインクリメントが静かに失われました。

この消えたインクリメントは失われた更新と呼ばれます。数千のスレッドが競合すると、数十から数百の更新が一度に失われることがあります。

このカーネルは正しそうに見えますが、すべてのスレッドが同じアドレスで競合しています。最終的なカウントは間違い、実行するたびに変化します。

ハードウェアはスレッドの実行順序を保証しません。そのため、競合するカーネルは非決定的です。小さな入力では成功しても、大きな入力では失敗することさえあります。

多数のスレッドが同じ値を読み取るだけなら、まったく問題ありません。少なくとも1つのスレッドが書き込みを行い、ほかのスレッドが読み取りまたは書き込みを行うときにだけ問題が起きます。

各スレッドが out[i] のように固有のスロットへ書き込むなら、コンフリクトはありません。競合が起きるには、スレッドが同じ場所を対象にする必要があります。

解決策は、読み取り・変更・書き込みを分割できない1つの処理にすることです。これはアトミック操作で、次のレッスンで扱います。⚛️

カーネルをレビューするときは、次の点を確認してください。保護なしで2つのスレッドが同じアドレスに書き込んでいないでしょうか。そうなら、ほぼ確実にデータ競合があります。

共有データに対する保護されていない読み取り・変更・書き込みが、競合状態と失われた更新を引き起こすことを学びました。次に扱うアトミック演算によって、これらの手順を分割できない処理にできます。✅