Q 테이블 개념

Q 테이블은 강화 학습의 핵심 개념입니다. 각 항목이 주어진 상태에서 특정 행동을 수행했을 때의 예상 보상을 나타내는 조회 테이블입니다.

목표는 Q 값을 학습하여 에이전트가 최대 보상을 얻을 수 있는 최선의 행동을 선택하도록 안내하는 것입니다.

Q 테이블의 구조

Q 테이블은 다음과 같은 구조로 이루어집니다:

• 행: 환경의 상태를 나타냅니다.
• 열: 에이전트가 선택할 수 있는 행동을 나타냅니다.
• 값: 상태-행동 쌍에 대한 Q 값을 나타냅니다.

에이전트는 학습 중에 이 값을 업데이트합니다.

Q 값 업데이트 공식

Q 값은 벨만 방정식을 사용하여 업데이트합니다:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

각 기호의 의미는 다음과 같습니다:

• s: 현재 상태
• a: 현재 행동
• r: 행동에 대한 보상
• s': 다음 상태
• α: 학습률
• γ: 할인율

간단한 Q 테이블의 예

격자 세계를 위한 Q 테이블을 살펴보겠습니다:

상태: 격자 위치(예: A1, B1)

행동: 위, 아래, 왼쪽, 오른쪽으로 이동

처음에는 모든 Q 값이 0으로 설정됩니다:

상태	위	아래	왼쪽	오른쪽
A1	0	0	0	0
B1	0	0	0	0

Python에서 Q 테이블 초기화하기

NumPy 배열이나 사전을 사용하여 Q 테이블을 나타낼 수 있습니다:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Q-러닝에서의 탐색

에이전트는 탐색과 활용 사이의 균형을 맞추기 위해 ε-탐욕 정책을 사용합니다:

• 확률 ε로 무작위 행동을 선택합니다(탐색).
• 확률 1-ε로 Q 값이 가장 높은 행동을 선택합니다(활용).

Q 테이블의 장점

Q 테이블은 작은 환경에서 간단하고 효과적입니다. 주요 장점은 다음과 같습니다:

• 구현과 디버깅이 쉽습니다.
• 상태와 행동의 관계를 명확하게 해석할 수 있습니다.
• 상태-행동 공간이 작을 때 계산 비용이 낮습니다.

Q-테이블의 한계

Q-테이블에는 몇 가지 한계가 있습니다:

• 상태-행동 공간이 큰 환경으로 확장하기 어렵습니다.
• 고차원 문제에는 상당한 메모리가 필요합니다.
• 서로 유사한 상태 간에 일반화할 수 없습니다.

요약 및 다음 단계

이 수업에서는 다음 내용을 학습했습니다:

• Q-테이블의 개념과 구조를 살펴보았습니다.
• 벨만 방정식을 사용해 Q값을 업데이트하는 방법을 알아보았습니다.
• Q-테이블의 장점과 한계를 논의했습니다.

다음으로 파이썬에서 간단한 Q-러닝 알고리즘을 구현하여 Q-테이블이 실제로 어떻게 작동하는지 살펴보겠습니다.