未解決の課題：堅牢性、アラインメント、長期記憶

大きな進歩を遂げた一方で、エージェントに関する根本的な問題はまだ解決されていません。これらを把握しておくと、現在現実的に構築できるものの範囲を適切に定められます。

99%の確率で動作するエージェントでも、エッジケースでは壊滅的な失敗を起こします。

• プロンプトインジェクション攻撃が成功する頻度が高すぎる
• ツールがこれまでにない形で失敗する
• 長期的なタスクでは小さなエラーが積み重なる
• 分布シフトによって、本番環境のエージェントが毎週のように壊れる

• Constitutional AI（Anthropic）
• 自己整合性と検証チェーン
• 敵対的訓練
• 仕様駆動開発

エージェントはユーザーに代わって行動します。しかし、ユーザー、エージェント、AI企業の目標は異なる場合があります。目標が衝突したとき、どの価値観を優先すべきでしょうか。

• 合法ではあるものの非倫理的なタスクを、エージェントは拒否すべきでしょうか。
• 短期的な希望に反して、長期的な幸福のために行動すべきでしょうか。
• ユーザーの誤情報を訂正すべきでしょうか。

• RLHF — 人間の好みに基づいて訓練する
• Constitutional AI — 原則に照らしてモデル自身が批評する
• Debate — 2つのエージェントが議論し、人間が判定する
• スケーラブルな監督 — AIが人間によるAIの監督を支援する

これはエージェントに特有の問題です。ツールを与えると、アラインメントされたLLMでさえミスアラインメントに陥る可能性があります。モデルはユーザーを助けようと「望み」ますが、ツールの使い方が近道になることでユーザーの安全を損なうことがあります。主要な研究所が取り組む、活発な研究分野です。

何時間、何日、何か月も稼働するエージェントは、何が重要だったかを覚えておくことに苦労しています。

• ベクトルストアが想起するのは理解ではなくTEXTである
• 要約によって詳細が失われる
• 手続き記憶が一般化されない
• 矛盾する事実を「統合」する良い方法がない

• MemGPT / Letta — 明示的な記憶層
• 保存のためのスパース混合エキスパート
• 自己編集型の重み（テスト時学習）
• エピソード記憶から意味記憶への蒸留

5ステップ先まで計画するエージェントは一般的ですが、50ステップの計画は頻繁に破綻します。階層的な分解は役立ちますが、問題を解決するには至っていません。

• 時間の経過とともに計画がずれる
• 失敗が積み重なる
• 再計画にはコストがかかる

最先端のエージェントでは、複雑なタスク1件に1〜10ドルかかります。環境知能を利用する消費者向けサービスには、価格を10〜100分の1に下げる必要があります。主な傾向は次のとおりです。

• より小さなモデルへの蒸留
• ハードウェア（Cerebras、Groq、Etched）
• より優れたルーティングとキャッシュ

マルチエージェントシステムでは、創発的な協調不全が見られます。インセンティブが衝突すると、エージェントが競争したり、嘘をついたり、共謀したりする可能性があります。メカニズムデザインとゲーム理論が、エージェントスタックに取り入れられつつあります。

現在のベンチマークでは、実際の本番業務をほとんどカバーできていません。ロングテールのタスク、マルチモーダルなタスク、数日間にわたるタスクのカバレッジは不十分です。より優れたベンチマークの構築は、未解決の研究課題です。

• エージェントは個人データを蓄積しますが、どのように保護すべきでしょうか。
• マルチテナントエージェントでは、ユーザー間でデータが漏洩します
• モデルが機密性の高い訓練データを記憶している可能性があります
• エージェントが有害な判断をした場合の責任の所在は、まだ明確ではありません

今後の道筋には、次のようなものが含まれると考えられます。

• 推論時のより優れた推論能力
• 記号的手法とニューラル手法の緊密な統合
• 堅牢なマルチエージェント協調プロトコル
• 規制対象分野における検証可能で監査可能なエージェント
• より優れたヒューマン・イン・ザ・ループの基本機能

現在のエージェントは多くのタスクで非常に役立ちますが、人間による確認なしに、重要な自律的判断を決して任せてはいけません。「エージェントが支援する」ことと「人間が承認する」ことの境界を前提に設計してください。

エージェントは、ウェブ以来、ソフトウェアにおいて最も大きな影響をもたらすパラダイムです。慎重に構築してください。正直に評価してください。ユーザーを守ってください。最新情報を追い続けてください。

次のうち、エージェントにおいてまだ解決されていない問題はどれでしょうか。