딥 Q-러닝

딥 Q-러닝은 신경망을 사용하여 Q-테이블을 근사하는 Q-러닝의 확장 방식입니다. 이를 통해 강화 학습을 상태-행동 공간이 크거나 연속적인 환경으로 확장할 수 있습니다.

딥 Q-러닝을 사용하는 이유

딥 Q-러닝은 기존 Q-러닝의 한계를 해결합니다:

• 고차원 상태 공간(예: 이미지)을 처리합니다.
• 메모리에 큰 Q-테이블을 저장할 필요가 없습니다.
• 신경망을 사용하여 여러 상태에 걸쳐 일반화합니다.

DQN 알고리즘

딥 Q-러닝은 Q값을 근사하기 위해 Q-네트워크라는 신경망을 사용합니다. 주요 단계는 다음과 같습니다:

1. 무작위 가중치로 Q-네트워크를 초기화합니다.
2. 환경과 상호작용하여 경험 튜플 (state, action, reward, next_state)을 수집합니다.
3. 벨만 방정식을 사용하여 Q-네트워크를 업데이트합니다:

Q(s, a) ≈ r + γ max(Q(s', a'))

Q-네트워크 구축

Q-네트워크는 현재 상태를 입력으로 받아 가능한 모든 행동에 대한 Q값을 출력하는 간단한 순방향 신경망입니다:

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense

# Define the Q-Network
q_network = Sequential([
    Dense(24, activation='relu', input_shape=(state_space_size,)),
    Dense(24, activation='relu'),
    Dense(action_space_size, activation='linear')
])

q_network.compile(optimizer='adam', loss='mse')

경험 재생

딥 Q-러닝은 학습을 개선하기 위해 경험 재생이라는 기법을 사용합니다:

• 경험 (state, action, reward, next_state)를 메모리 버퍼에 저장합니다.
• 학습을 위해 경험 배치를 무작위로 sample합니다.

from collections import deque

# Initialize replay memory
memory = deque(maxlen=2000)

# Add experience to memory
memory.append((state, action, reward, next_state, done))

Q-네트워크 학습

메모리 버퍼의 경험을 사용하여 Q-네트워크를 학습시킵니다:

import numpy as np

# Sample a batch of experiences
batch_size = 32
batch = random.sample(memory, batch_size)

# Train the Q-Network
for state, action, reward, next_state, done in batch:
    target = reward
    if not done:
        target += gamma * np.max(q_network.predict(next_state[np.newaxis, ...]))
    q_values = q_network.predict(state[np.newaxis, ...])
    q_values[0][action] = target
    q_network.fit(state[np.newaxis, ...], q_values, epochs=1, verbose=0)

타깃 네트워크

학습을 안정화하기 위해 DQN은 타깃 네트워크를 사용합니다:

• 타깃 Q값을 계산하기 위한 별도의 네트워크를 유지합니다.
• Q-네트워크의 가중치를 타깃 네트워크로 주기적으로 복사합니다.

딥 Q-러닝의 장점

딥 Q-러닝은 다음과 같은 여러 이점을 제공합니다:

• 이미지와 같은 고차원 상태 공간을 처리합니다.
• 신경망을 사용하여 여러 상태에 걸쳐 일반화합니다.
• 아타리 게임이나 로봇 제어와 같은 복잡한 작업을 해결할 수 있습니다.

요약 및 다음 단계

이 과에서는 다음을 살펴보았습니다:

• 딥 Q-러닝의 기본 개념을 살펴보았습니다.
• Q값을 근사하는 Q-네트워크를 구축했습니다.
• 안정적인 학습을 위한 경험 재생과 타깃 네트워크를 살펴보았습니다.

다음에는 OpenAI Gym을 살펴보고 시뮬레이션 환경에 강화 학습을 적용해 보겠습니다.