Conceito de tabela Q

A tabela Q é um conceito central do aprendizado por reforço. Ela é uma tabela de consulta na qual cada entrada representa a recompensa esperada por realizar uma ação específica em um determinado estado.

O objetivo é aprender os valores Q, que orientam o agente a realizar as melhores ações para obter o máximo de recompensas.

Estrutura de uma tabela Q

A tabela Q é estruturada da seguinte forma:

• Linhas: Representam os estados do ambiente.
• Colunas: Representam as ações disponíveis para o agente.
• Valores: Representam o valor Q dos pares estado-ação.

O agente atualiza esses valores durante o aprendizado.

Fórmula de atualização do valor Q

Os valores Q são atualizados usando a equação de Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Onde:

• s: Estado atual
• a: Ação atual
• r: Recompensa pela ação
• s': Próximo estado
• α: Taxa de aprendizado
• γ: Fator de desconto

Exemplo de uma tabela Q simples

Considere uma tabela Q para um mundo em grade:

Estados: Posições na grade (por exemplo, A1, B1)

Ações: Mover para cima, para baixo, para a esquerda ou para a direita

Inicialmente, todos os valores Q são definidos como zero:

Estado	Para cima	Para baixo	Esquerda	Direita
A1	0	0	0	0
B1	0	0	0	0

Inicializando uma tabela Q em Python

Podemos representar uma tabela Q usando uma matriz do NumPy ou um dicionário:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Exploração no aprendizado Q

O agente usa uma política ε-gulosa para equilibrar exploração e aproveitamento:

• Com probabilidade ε, escolhe uma ação aleatória (exploração).
• Com probabilidade 1-ε, escolhe a ação com o maior valor Q (aproveitamento).

Vantagens das tabelas Q

As tabelas Q são simples e eficazes para ambientes pequenos. Entre suas vantagens estão:

• Implementação e depuração fáceis.
• Interpretação clara das relações entre estados e ações.
• Baixo custo computacional para espaços pequenos de estados e ações.

Limitações das tabelas Q

As tabelas Q têm algumas limitações:

• Não são escaláveis para ambientes com grandes espaços de estados e ações.
• Exigem memória significativa para problemas de alta dimensionalidade.
• Não conseguem generalizar entre estados semelhantes.

Resumo e próximos passos

Nesta lição, nós:

• Aprendemos sobre o conceito de tabela Q e sua estrutura.
• Exploramos como os valores Q são atualizados usando a equação de Bellman.
• Discutimos as vantagens e limitações das tabelas Q.

Em seguida, implementaremos um algoritmo simples de aprendizado Q em Python para ver as tabelas Q em ação.