Q 테이블 개념

Q 테이블은 강화 학습의 핵심 개념입니다. Q 테이블은 조회 표로, 각 항목은 주어진 상태에서 특정 행동을 했을 때 기대되는 보상을 나타냅니다.

목표는 에이전트가 최대 보상을 얻을 수 있는 최선의 행동을 선택하도록 안내하는 Q 값을 학습하는 것입니다.

Q 테이블의 구조

Q 테이블은 다음과 같은 구조로 이루어집니다.

• 행: 환경의 상태를 나타냅니다.
• 열: 에이전트가 선택할 수 있는 행동을 나타냅니다.
• 값: 상태-행동 쌍에 대한 Q 값을 나타냅니다.

에이전트는 학습 중에 이 값을 갱신합니다.

Q 값 갱신 공식

Q 값은 벨만 방정식을 사용하여 갱신합니다.

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

기호의 의미는 다음과 같습니다.

• s: 현재 상태
• a: 현재 행동
• r: 행동에 대한 보상
• s': 다음 상태
• α: 학습률
• γ: 할인율

간단한 Q 테이블 예시

격자 세계의 Q 테이블을 살펴보겠습니다.

상태: 격자 위치(예: A1, B1)

행동: 위, 아래, 왼쪽, 오른쪽으로 이동

처음에는 모든 Q 값이 0으로 설정됩니다.

상태	위	아래	왼쪽	오른쪽
A1	0	0	0	0
B1	0	0	0	0

파이썬에서 Q 테이블 초기화

NumPy 배열 또는 사전을 사용하여 Q 테이블을 나타낼 수 있습니다.

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Q 학습에서의 탐색

에이전트는 탐색과 활용 사이의 균형을 맞추기 위해 ε-탐욕 정책을 사용합니다.

• 확률 ε로 무작위 행동을 선택합니다(탐색).
• 확률 1-ε로 Q 값이 가장 높은 행동을 선택합니다(활용).

Q 테이블의 장점

Q 테이블은 작은 환경에서 간단하고 효과적입니다. 주요 장점은 다음과 같습니다.

• 구현과 오류 수정이 쉽습니다.
• 상태와 행동의 관계를 명확하게 해석할 수 있습니다.
• 작은 상태-행동 공간에서는 계산 비용이 낮습니다.

Q 테이블의 한계

Q 테이블에는 다음과 같은 한계가 있습니다.

• 상태-행동 공간이 큰 환경에서는 확장하기 어렵습니다.
• 고차원 문제에는 많은 메모리가 필요합니다.
• 서로 유사한 상태 간에 일반화할 수 없습니다.

요약 및 다음 단계

이 단원에서는 다음 내용을 배웠습니다.

• Q 테이블의 개념과 구조를 배웠습니다.
• 벨만 방정식을 사용하여 Q 값이 갱신되는 방식을 살펴보았습니다.
• Q 테이블의 장점과 한계에 대해 논의했습니다.

다음으로 파이썬에서 간단한 Q 학습 알고리즘을 구현하여 Q 테이블이 실제로 작동하는 모습을 살펴봅니다.