リダクションに__shfl_down_syncを使う

shuffleを使うと、あるレーンが別のレーンのレジスタ値を直接読み取れます。shared memory や途中のバリアなしで、スレッド間をデータが移動します。

リダクションの中心となるのがshfl_down_syncです。各レーンは、ワープ内で固定個数分だけ上にあるレーンから値を取得します。

呼び出しには、アクティブなマスク、共有する値、オフセットを指定します。レーン i は、レーン i + offset が保持する値を受け取ります。

ワープの合計は、shuffle で取得した値を加算するだけです。レーン i は隣のレーンの値を取得し、自分の累積値に加えます。

木構造のリダクションと同様に、オフセットは 16 から始まり、各ステップで半分になります。16、8、4、2、1 の5ステップで、ワープ全体の合計が求まります。

ワープには32個のレーンがあり、2 の5乗は32です。そのため、5回半分にすることで、32個すべての値を1つにまとめるのにちょうど足ります。

ループの後、完全なワープ合計はlane 0に格納されています。他のレーンには不完全な値が入っているため、結果を書き出すのはlane 0だけにしてください。

交換はロックステップでレジスタを介して行われるため、syncthreadsは完全に省略できます。syncサフィックスが、マスクされたレーンをすでに調整しています。

ワープシャッフルによるリダクションは、共有メモリ版よりも高速です。命令数が少なく、バンク競合もbarrierによる停止もありません。最後の32要素にはこれが高速な経路です。

一部のレーンがすでに終了している場合、全レーン用のマスクは不適切です。activemaskで実行中の集合を取得し、各シャッフルが存在するレーンだけを対象にするようにします。

大規模なリダクションでは、各ワープをシャッフルでリダクションしてから、ワープごとの結果をshared memoryで結合することがよくあります。シャッフルは、この低コストな内側の段階を見事に処理します。

shfl_down_syncを使ってワープを合計しました。オフセットを5回半分にすると、バリアなしでlane 0に合計が格納されます。次はballotとvoteです。✨