Концепция Q-таблицы

Q-таблица — это основной инструмент обучения с подкреплением. Она представляет собой таблицу поиска, в которой каждая запись содержит ожидаемое вознаграждение за выполнение определённого действия в заданном состоянии.

Цель заключается в изучении Q-значений, которые помогают агенту выбирать наилучшие действия для получения максимальных вознаграждений.

Структура Q-таблицы

Q-таблица имеет следующую структуру:

• Строки: представляют состояния среды.
• Столбцы: представляют действия, доступные агенту.
• Значения: представляют Q-значение для пар «состояние — действие».

Агент обновляет эти значения в процессе обучения.

Формула обновления Q-значения

Q-значения обновляются с помощью уравнения Беллмана:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Здесь:

• s: текущее состояние
• a: текущее действие
• r: вознаграждение за действие
• s': следующее состояние
• α: скорость обучения
• γ: коэффициент дисконтирования

Пример простой Q-таблицы

Рассмотрим Q-таблицу для мира в виде сетки:

Состояния: позиции в сетке, например A1 и B1

Действия: переместиться вверх, вниз, влево или вправо

Изначально все Q-значения равны нулю:

Состояние	Вверх	Вниз	Влево	Вправо
A1	0	0	0	0
B1	0	0	0	0

Инициализация Q-таблицы на языке Пайтон

Мы можем представить Q-таблицу с помощью массива NumPy или словаря:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Исследование в Q-обучении

Агент использует ε-жадную политику, чтобы соблюдать баланс между исследованием и использованием:

• с вероятностью ε выбирается случайное действие (исследование);
• с вероятностью 1-ε выбирается действие с наибольшим Q-значением (использование).

Преимущества Q-таблиц

Q-таблицы просты и эффективны для небольших сред. К их преимуществам относятся:

• простота реализации и отладки;
• наглядное представление связей между состояниями и действиями;
• низкие вычислительные затраты для небольших пространств состояний и действий.

Ограничения Q-таблиц

У Q-таблиц есть некоторые ограничения:

• Они плохо масштабируются на среды с большими пространствами состояний и действий.
• Для задач с высокой размерностью требуется значительный объём памяти.
• Они не способны обобщать знания на похожие состояния.

Итоги и дальнейшие шаги

На этом уроке мы:

• Изучили концепцию Q-таблицы и её структуру.
• Разобрались, как обновляются Q-значения с помощью уравнения Беллмана.
• Обсудили преимущества и ограничения Q-таблиц.

Далее мы реализуем простой алгоритм Q-обучения на Python, чтобы увидеть Q-таблицы в действии.