強化学習の基本概念

強化学習（RL）は、エージェントが環境とのインタラクションを通じて意思決定を学習する機械学習の一種です。目標は、時間の経過とともに報酬を最大化することです。

RLの主な構成要素には、エージェント、環境、報酬、ペナルティがあります。

RLの主要な用語

強化学習における重要な用語は次のとおりです。

• エージェント：意思決定を行う主体です（例：ロボットやソフトウェア）。
• 環境：エージェントが相互作用するシステムです。
• 状態：環境の現在の状況です。
• 行動：エージェントが選択する意思決定です。
• 報酬：行動に対して環境から与えられるフィードバックです。

エージェントと環境のインタラクション

エージェントと環境のインタラクションは、次のようにまとめられます。

1. エージェントが環境の現在の状態を観測します。
2. エージェントが方策に基づいて行動を選択します。
3. 環境が新しい状態に遷移し、報酬を与えます。

このループは、終端状態に到達するまで続きます。

報酬とペナルティ

報酬とは、エージェントの行動に対して与えられるフィードバックです。目標は、時間の経過とともに累積報酬を最大化することです。ペナルティは、望ましくない行動を抑制する負の報酬です。

たとえば、次のようになります。

• 報酬：目標に到達すると+10
• ペナルティ：障害物にぶつかると-5

RLにおける方策

方策とは、現在の状態に基づいて行動を決定するためにエージェントが用いる戦略です。

方策の種類：

• 決定論的：与えられた状態に対して、常に同じ行動を選択します。
• 確率論的：確率に基づいて行動を選択します。

探索と活用のトレードオフ

エージェントは、次の2つの間でトレードオフに直面します。

• 探索：環境についてより多くを知るために、新しい行動を試します。
• 活用：既知の中で最も高い報酬が得られる行動を選択します。

効果的な学習には、これらのバランスを取ることが重要です。

マルコフ決定過程（MDP）

強化学習の問題は、多くの場合、次の要素で定義されるMDPとしてモデル化されます。

• 状態（S）：環境で取り得る構成。
• 行動（A）：エージェントが選択できる選択肢。
• 報酬（R）：行動に対するフィードバック。
• 状態遷移確率（P）：状態間を移動する可能性。

強化学習の課題

強化学習には、次のような課題があります：

• 遅延報酬：報酬を受け取るまでに複数のアクションが必要になることがあります。
• 疎な報酬：報酬がまれにしか発生しないことがあります。
• 高次元性：状態やアクションが多数存在する複雑な環境に対応する必要があります。

まとめと次のステップ

このレッスンでは、次の内容を学びました。

• エージェント、環境、報酬など、強化学習の基本概念を確認しました。
• 方策、探索と活用のトレードオフ、MDPについて説明しました。
• RLにおける課題について学びました。

次は、強化学習の基礎的な手法であるQテーブルについて詳しく学びます。