信頼性の高いAI機能のためのプロンプトエンジニアリング

LLMベースの機能では、プロンプトがコードです。わずかな文言の変更でも、出力の品質と信頼性は大きく変わる可能性があります。

優れたプロンプトには、役割、明確なタスク、関連するコンテキスト、明示的な出力形式が含まれます。

曖昧なプロンプトからは曖昧な出力が生まれます。「これを要約して」と書く代わりに、長さ、対象読者、トーンなどの制約を指定しましょう。

入力と望ましい出力の例を2～3個示すと、説明だけの場合よりもはるかに効果的にモデルへパターンを教えられます。

SaaSのパイプラインには、機械で読み取れる出力が必要です。JSONを要求し、スキーマを指定しましょう。

モデルに「わかりません」と回答してもよいと伝えましょう。提供したコンテキストに基づいて回答させ、事実を作り出すことは禁止します。

temperatureを下げると、出力はより決定論的で一貫したものになります。通常、SaaSの機能ではこれが望ましいでしょう。

安定したルールやペルソナにはsystem promptを使い、リクエストごとのデータにはuser promptを使いましょう。ユーザーが制御できるフィールドには指示を入れないでください。

ユーザーは指示を上書きしようとすることがあります。ユーザーのテキストをデータとして扱い、出力を検証し、モデルが提案したアクションを決して無条件で実行しないでください。

期待される出力を設定した入力からなる小さなeval setを作り、プロンプトを変更するたびに実行しましょう。ユニットテストと同じ考え方です。

プロンプトをバージョンタグ付きでバージョン管理システムに保存しましょう。これにより、以前の状態に戻したり、時間の経過による品質を比較したりできます。

優れたプロンプトの構成、Few-Shotの例と構造化されたJSON出力の力、ハルシネーションを減らす技法、temperatureとsystem promptの役割、プロンプトインジェクションへの防御、そしてプロンプトをバージョン管理・テストするコードとして扱う方法を学びました。