강화 학습의 기본 개념

강화 학습(RL)은 에이전트가 환경과 상호작용하면서 의사 결정을 내리는 방법을 학습하는 기계 학습의 한 유형입니다. 목표는 시간이 지남에 따라 보상을 최대화하는 것입니다.

RL의 주요 구성 요소에는 에이전트, 환경, 보상, 벌점이 포함됩니다.

RL의 주요 용어

강화 학습에서 중요한 용어는 다음과 같습니다.

• 에이전트: 의사 결정을 내리는 주체입니다(예: 로봇 또는 소프트웨어).
• 환경: 에이전트가 상호 작용하는 시스템입니다.
• 상태: 환경의 현재 상황입니다.
• 행동: 에이전트가 내리는 결정입니다.
• 보상: 행동에 대해 환경이 제공하는 피드백입니다.

에이전트와 환경의 상호작용

에이전트와 환경의 상호작용은 다음과 같이 요약할 수 있습니다.

1. 에이전트가 현재 환경 상태를 관찰합니다.
2. 에이전트가 정책에 따라 행동을 선택합니다.
3. 환경이 새로운 상태로 전환되고 보상을 제공합니다.

이 순환은 종료 상태에 도달할 때까지 계속됩니다.

보상과 벌점

보상은 에이전트가 행동을 수행했을 때 받는 피드백입니다. 목표는 시간이 지남에 따라 누적 보상을 최대화하는 것입니다. 벌점은 바람직하지 않은 행동을 억제하는 음의 보상입니다.

예를 들면 다음과 같습니다.

• 보상: 목표에 도달하면 +10
• 벌점: 장애물에 부딪히면 -5

RL의 정책

정책은 에이전트가 현재 상태를 바탕으로 행동을 결정할 때 사용하는 전략입니다.

정책의 유형은 다음과 같습니다.

• 결정적: 주어진 상태에서 항상 같은 행동을 선택합니다.
• 확률적: 확률에 따라 행동을 선택합니다.

탐색과 활용

에이전트는 다음 두 가지 사이에서 절충해야 합니다.

• 탐색: 환경에 대해 더 많이 알아보기 위해 새로운 행동을 시도합니다.
• 활용: 지금까지 알려진 보상 중 가장 높은 보상을 제공하는 행동을 선택합니다.

효과적인 학습을 위해서는 이 둘의 균형을 맞추는 것이 중요합니다.

마르코프 결정 과정(MDP)

강화 학습 문제는 다음과 같이 정의되는 MDP로 모델링하는 경우가 많습니다.

• 상태(S): 환경의 가능한 구성
• 행동(A): 에이전트가 선택할 수 있는 항목
• 보상(R): 행동에 대한 피드백
• 상태 전이 확률(P): 상태 간 이동 가능성

강화 학습의 어려움

강화 학습에는 다음과 같은 어려움이 있습니다:

• 지연된 보상: 여러 행동을 수행한 후에 보상을 받을 수 있습니다.
• 희소한 보상: 보상이 드물게 발생할 수 있습니다.
• 고차원성: 상태와 행동이 많은 복잡한 환경이 존재합니다.

요약 및 다음 단계

이 단원에서는 다음 내용을 살펴보았습니다.

• 에이전트, 환경, 보상을 포함한 강화 학습의 기본 개념을 살펴보았습니다.
• 정책, 탐색과 활용, MDP에 대해 논의했습니다.
• RL의 과제에 대해 배웠습니다.

다음으로 강화 학습의 기초적인 접근법인 Q 테이블 개념을 자세히 살펴봅니다.