Conceito de tabela Q

A tabela Q é um conceito central da aprendizagem por reforço. Ela é uma tabela de consulta em que cada entrada representa a recompensa esperada por executar uma ação específica em um determinado estado.

O objetivo é aprender os valores Q, que orientam o agente a executar as melhores ações para maximizar as recompensas.

Estrutura de uma tabela Q

A tabela Q é estruturada da seguinte forma:

• Linhas: representam os estados do ambiente.
• Colunas: representam as ações disponíveis para o agente.
• Valores: representam o valor Q dos pares estado-ação.

O agente atualiza esses valores durante a aprendizagem.

Fórmula de atualização do valor Q

Os valores Q são atualizados usando a equação de Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Em que:

• s: estado atual
• a: ação atual
• r: recompensa pela ação
• s': próximo estado
• α: taxa de aprendizagem
• γ: fator de desconto

Exemplo de uma tabela Q simples

Considere uma tabela Q para um mundo em grade:

Estados: posições na grade (por exemplo, A1, B1)

Ações: mover para cima, para baixo, para a esquerda ou para a direita

Inicialmente, todos os valores Q são definidos como zero:

Estado	Para cima	Para baixo	Esquerda	Direita
A1	0	0	0	0
B1	0	0	0	0

Inicializando uma tabela Q no Python

Podemos representar uma tabela Q usando uma matriz do NumPy ou um dicionário:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Exploração na aprendizagem Q

O agente usa uma política ε-gulosa para equilibrar exploração e aproveitamento:

• Com probabilidade ε, escolhe uma ação aleatória (exploração).
• Com probabilidade 1-ε, escolhe a ação com o maior valor Q (aproveitamento).

Vantagens das tabelas Q

As tabelas Q são simples e eficazes para ambientes pequenos. Entre suas vantagens estão:

• Implementação e depuração fáceis.
• Interpretação clara das relações entre estados e ações.
• Baixo custo computacional para espaços pequenos de estados e ações.

Limitações das tabelas Q

As tabelas Q têm algumas limitações:

• Não são escaláveis para ambientes com grandes espaços de estados e ações.
• Exigem uma quantidade significativa de memória para problemas de alta dimensionalidade.
• Não conseguem generalizar entre estados semelhantes.

Resumo e próximos passos

Nesta lição, nós:

• Aprendemos sobre o conceito e a estrutura das tabelas Q.
• Exploramos como os valores Q são atualizados usando a equação de Bellman.
• Discutimos as vantagens e limitações das tabelas Q.

Em seguida, implementaremos um algoritmo simples de aprendizagem Q no Python para ver as tabelas Q em ação.