Azure OpenAI Service

Azure OpenAI Serviceは、MicrosoftのAzureクラウド インフラストラクチャを通じて、GPT-4、GPT-3.5-turbo、DALL-E、Embeddingsモデルなど、OpenAIの大規模言語モデルにアクセスできるサービスです。OpenAI APIを直接使用する場合とは異なり、Azure OpenAIでは、VNet/Private Linkによるプライベート ネットワーク、Microsoftのコンプライアンス認証（ISO 27001、SOC 2、GDPR）、コンテンツ フィルタリング、顧客データのプライバシー（データがOpenAIの基盤モデルのトレーニングに使用されない）、Azure RBACおよび監視との統合といったエンタープライズ機能を利用できます。

Azure OpenAIを利用するには承認済みのサブスクリプションが必要です。アクセスは制限されており、フォームから申請する必要があります。承認されたら、Azure OpenAIリソースを作成し、その中にdeploymentを作成します。デプロイでは、モデル（例：gpt-4）をデプロイ名（例：my-gpt4）とトークン クォータ（1分あたりのトークン上限）に関連付けます。APIの呼び出しには、基盤モデル名ではなくデプロイ名を使用します。異なるモデルやクォータを持つ複数のデプロイを、1つのリソース内に共存させることもできます。

chat completions API（/openai/deployments/{deployment}/chat/completions）は、ロール（system、user、assistant）を持つメッセージのリストを受け取り、モデルの応答を返します。systemメッセージは、モデルの動作とペルソナを設定します。userメッセージにはプロンプトまたは質問を含めます。会話の過去のターンはメッセージ配列に含めるため、複数ターンの対話でもモデルはコンテキストを維持できます。Temperature（0～2）は応答のランダム性を制御します。

Prompt engineeringとは、言語モデルから最適な結果を得るために、効果的な入力メッセージを作成する手法です。主なテクニックには、System prompt—モデルに明確な役割と制約を与えること、Few-shot examples—期待する入力と出力の形式の例を2～5個モデルに示すこと、Chain-of-thought—最終的な回答を出す前に手順を追って考えるようモデルに求めること、Constraints—形式、長さ、避けるべき内容をモデルに明示的に指示することがあります。優れたプロンプトはハルシネーションを減らし、一貫性を高めます。

Embeddingsは、意味情報を捉えた高密度の数値ベクトルにテキストを変換します。意味が似ている2つのテキストは、ベクトル空間内で近いベクトルになります（コサイン類似度で測定）。Azure OpenAIのembeddingsエンドポイント（/embeddings）は、text-embedding-ada-002モデルを使用して1,536次元のベクトルを生成します。Embeddingsは、セマンティック検索（クエリに似た文書の検索）、RAG（Retrieval-Augmented Generation）、レコメンデーション システムの構築に使用します。

Azure OpenAIには、プロンプト（入力）とcompletion（出力）の両方に対して動作する多層のコンテンツ フィルタリングシステムが含まれています。次の4つのカテゴリのコンテンツを検出してブロックします：hate、sexual、violence、self-harm。各カテゴリには3つの深刻度レベル（low、medium、high）があり、カテゴリごとにフィルタリングのしきい値を設定できます。プロンプト インジェクションの試み（システム プロンプトの上書きを狙うjailbreak）もフィルタリングされます。コンテンツ フィルタリングは既定で有効になっており、ほとんどのモデルでは、ユースケースの正当性が示されない限り無効にできません。

RAGは、言語モデルの応答をモデルのトレーニング知識だけに頼らず、独自のデータに基づかせる手法です。流れは次のとおりです：(1)文書をベクトル ストア（例：Azure AI Search）にインデックス化する、(2)ユーザーが質問したら、質問を埋め込みに変換してベクトル ストアを検索し、関連する文書チャンクを取得する、(3)それらのチャンクをコンテキストとしてシステム プロンプトに含める、(4)モデルが提供されたコンテキストに基づいて回答する。RAGによりハルシネーションを減らし、ファインチューニングなしでLLMが非公開かつ最新のデータに関する質問に回答できるようになります。

カスタムデータを使ってモデルの機能を拡張する方法には、2つのアプローチがあります。ファインチューニングでは、ユーザーの例を使って新しいモデルバージョンをトレーニングし、その知識をモデルの重みに組み込みます。プロンプトでは説明しにくい特定のスタイル、形式、動作をモデルに学習させる場合に適しています。RAGでは、推論時に関連情報を取得してコンテキストとして提供します。頻繁に変更される大規模なナレッジベースにはこちらが適しています。モデルを再トレーニングする代わりに、ベクトルインデックスを更新できるためです。ほとんどのエンタープライズ用途では、コストが低く反復が速いRAGが推奨されます。

Azure AI Studio（Azure AI Foundryへのブランド変更が進められています）は、Azure上で生成AIアプリケーションを構築するための統合ポータルです。インタラクティブにモデルの補完をテストできるプレイグラウンド、正解データセットに対してモデルの品質を評価するツール、RAGパイプラインをREST APIとして構築・デプロイするためのプロンプトフローデザイナー、さらに開発ワークフロー向けのGitHubおよびVS Codeとの統合機能を提供します。Azure AI Studioを使うと、モデルのデプロイから本番のAIアプリケーションまでの工程を簡素化できます。

Azure OpenAIの料金は、処理した1,000トークンごとに発生します。1トークンは、およそ4文字または0.75語に相当します。入力（プロンプト）トークンと出力（補完）トークンの両方が課金対象です。GPT-4は、GPT-3.5-turboよりトークンあたりの料金が大幅に高くなります。各デプロイには、スループットを制限して不正利用を防ぐトークン毎分（TPM）クォータがあります。アプリケーションがクォータを超えると、APIは429 TooManyRequestsを返します。クォータの増加を申請するか、クライアント側で指数バックオフと再試行ロジックを実装できます。

Microsoftは、責任あるAIの原則を生成AIにも適用しています。根拠性 — 応答は検証可能な情報に基づく必要があります（RAGが役立ちます）。透明性 — ユーザーはAIと対話していることを知る必要があります。有害性の防止 — コンテンツフィルターによって有害な出力をブロックします。プライバシー — Azure OpenAI内のデータが、OpenAIのグローバルモデルのトレーニングに使用されることはありません。Azure OpenAI上に構築するアプリケーションには、ユースケースのリスク評価を含め、MicrosoftのAcceptable Use Policyで求められる、特定された有害性への対策を実装する必要があります。

このレッスンで学んだMicrosoft Azure Fundamentals（AZ-900）の概念について、理解度を確認しましょう。

このレッスンでは、Azure OpenAI Serviceによって、プライベートネットワークやコンプライアンス機能を備えたエンタープライズ向けのGPT-4などのモデルへのアクセスが提供されること、チャット補完APIによって、system、user、assistantのメッセージロールを使用したマルチターンの会話が実現すること、そして埋め込みとRAGによってプライベートデータを基にモデルの応答を生成し、ハルシネーションを減らせることを学びました。次は、Azureのコントロールプレーンを通じてハイブリッドおよびオンプレミスのリソースを管理するAzure Arcについて学びます。