予測1回あたりのコストを追跡する

月々のクラウド料金だけでは、どのモデルがコストを無駄にしているか分かりません。予測あたりのコストに変換すれば、比較、最適化、説明ができる単位になります。

まず基本から始めます。サービングにかかった総費用を、提供した予測の数で割ります。その比率が、最初に求める予測あたりのコストです。

コンピューティングは一部にすぎません。ストレージ、ネットワーク、ログ記録も加えて、サービングの総コストを把握します。

ラベルがなければ共有料金を分割できません。インスタンスやバケットにリソースタグを付けることで、費用を特定のモデルごとに割り当てられます。

提供したリクエストごとにカウンターを増やし、ボリュームを推測に頼らないようにします。予測カウンターは、指標全体の分母となる値です。

何も提供していない間も料金を支払うインスタンスは、予測あたりのコストを押し上げます。アイドル時間を監視すると、価値を生まないまま費用が流出している場所が分かります。

各モデルの予測あたりのコストがわかったら、順位を付けます。最も高コストなモデルが、最も明確な最適化対象です。

多くの入力を1回の処理でまとめて扱うと、固定オーバーヘッドをより多くの結果に分散できます。バッチ処理は、予測あたりのコストを下げる最速の方法であることがよくあります。

誰にも見られない数値は、何も変えません。ダッシュボードで予測あたりのコストを時系列でグラフ化し、請求額に影響が出る前にリグレッションを見つけられるようにします。

予測あたりの目標コストを決め、それを超えたときにアラートを出します。コスト予算を設定しておけば、デプロイに問題が起きた瞬間に、予想外の支出の増加を検知できます。

モデルが役割を果たし続けるのでなければ、安さに意味はありません。予測あたりのコストと、各予測が生み出すビジネス価値を比較します。

予測あたりのコストを計算し、リソースにタグを付け、リクエスト数を数え、モデルを比較し、支出を適正に保つための予算アラートを設定しました。📊