パラメーター空間の探索

調整項目の組み合わせ全体がパラメーター空間を形成します。これを探索するとは、組み合わせを試して最速のものを見つけることです。

まず、各調整項目が取り得る値を一覧にします。タイルと幅のすべての組み合わせが、評価対象となる候補です。

コンパイラーは各組み合わせについて、正確なパラメーター値を組み込んだカーネルの特殊化バージョンをビルドします。

各候補を代表的な入力で実行し、かかった時間を記録します。正確な計測時間によって、意味のある比較が可能になります。

最初の数回の実行はウォームアップとして破棄します。キャッシュやCPUが安定するまで、初期の計測値は不安定で代表的ではありません。

各候補を何度か計測し、最速値または中央値を使います。繰り返すことで、オペレーティングシステムによるランダムなノイズを平滑化できます。

すべての候補に同じ入力と同じ規模の処理を与え、変化するのがテスト対象の構成だけになるようにします。

最も短い時間で実行できた候補が勝者になります。そのパラメーターセットを使ってコードを特殊化します。

空間が小さければ、すべての組み合わせをグリッド探索できます。大きな空間では、チューニングに永遠に時間がかからないよう、サンプリングが必要になることがあります。

探索はデプロイ前に一度だけ行います。今チューニングに時間をかけることで、その後のすべての実行を高速化できます。

勝者の値を保存して再利用できるようにします。記録した結果があれば、次回に探索全体を繰り返す必要がありません。

候補を列挙し、公平な処理量でそれぞれをビルドして計測し、ノイズを平滑化したうえで、最速の構成を勝者として選びました。🎯