강화 학습 기본 개념

강화 학습(RL)은 에이전트가 환경과 상호작용하면서 의사 결정을 내리는 방법을 학습하는 머신 러닝의 한 유형입니다. 목표는 시간이 지남에 따라 보상을 최대화하는 것입니다.

RL의 주요 구성 요소에는 에이전트, 환경, 보상, 벌점이 포함됩니다.

RL의 주요 용어

강화 학습에서 중요한 용어는 다음과 같습니다:

• 에이전트: 의사 결정을 내리는 주체입니다(예: 로봇 또는 소프트웨어).
• 환경: 에이전트가 상호작용하는 시스템입니다.
• 상태: 환경의 현재 상황입니다.
• 행동: 에이전트가 내리는 결정입니다.
• 보상: 행동에 대해 환경이 제공하는 피드백입니다.

에이전트와 환경의 상호작용

에이전트와 환경의 상호작용은 다음과 같이 요약할 수 있습니다:

1. 에이전트가 환경의 현재 상태를 관찰합니다.
2. 에이전트가 정책에 따라 행동을 선택합니다.
3. 환경이 새로운 상태로 전이하고 보상을 제공합니다.

이 반복 과정은 종료 상태에 도달할 때까지 계속됩니다.

보상과 벌점

보상은 에이전트의 행동에 대해 제공되는 피드백입니다. 목표는 시간이 지남에 따라 누적 보상을 최대화하는 것입니다. 벌점은 바람직하지 않은 행동을 억제하는 음의 보상입니다.

예를 들면 다음과 같습니다:

• 보상: 목표에 도달하면 +10입니다.
• 벌점: 장애물에 부딪히면 -5입니다.

RL의 정책

정책은 현재 상태를 바탕으로 행동을 결정하기 위해 에이전트가 사용하는 전략입니다.

정책의 유형은 다음과 같습니다:

• 결정론적: 주어진 상태에서 항상 같은 행동을 선택합니다.
• 확률적: 확률에 따라 행동을 선택합니다.

탐색과 활용의 균형

에이전트는 다음 두 가지 사이에서 상충 관계에 직면합니다:

• 탐색: 환경에 대해 더 많이 알아내기 위해 새로운 행동을 시도합니다.
• 활용: 지금까지 알려진 보상 중 가장 높은 보상을 제공하는 행동을 선택합니다.

효과적인 학습을 위해서는 이 두 가지의 균형이 중요합니다.

마르코프 의사 결정 과정(MDP)

강화 학습 문제는 다음 요소로 정의되는 MDP로 모델링하는 경우가 많습니다:

• 상태(S): 환경의 가능한 구성입니다.
• 행동(A): 에이전트가 선택할 수 있는 항목입니다.
• 보상(R): 행동에 대한 피드백입니다.
• 전이 확률(P): 상태 사이를 이동할 가능성입니다.

강화 학습의 과제

강화 학습에는 다음과 같은 과제가 있습니다:

• 지연된 보상: 여러 행동을 수행한 후에 보상을 받을 수 있습니다.
• 희소 보상: 보상이 드물게 발생할 수 있습니다.
• 고차원성: 상태와 행동이 많은 복잡한 환경입니다.

요약 및 다음 단계

이 레슨에서는 다음 내용을 살펴보았습니다:

• 에이전트, 환경, 보상을 포함한 강화 학습의 기본 개념을 살펴보았습니다.
• 정책, 탐색과 활용의 균형, MDP에 대해 논의했습니다.
• RL의 과제에 대해 배웠습니다.

다음으로 강화 학습의 기초가 되는 접근 방식인 Q 테이블 개념을 자세히 살펴보겠습니다.