Concetto di tabella Q

La tabella Q è un concetto fondamentale nell'apprendimento per rinforzo. È una tabella di consultazione in cui ogni voce rappresenta la ricompensa prevista per l'esecuzione di una specifica azione in un determinato stato.

L'obiettivo è apprendere i valori Q, che guidano l'agente nella scelta delle azioni migliori per ottenere la massima ricompensa.

Struttura di una tabella Q

La tabella Q è strutturata come segue:

• Righe: rappresentano gli stati dell'ambiente.
• Colonne: rappresentano le azioni disponibili per l'agente.
• Valori: rappresentano il valore Q per le coppie stato-azione.

L'agente aggiorna questi valori durante l'apprendimento.

Formula di aggiornamento del valore Q

I valori Q vengono aggiornati utilizzando l'equazione di Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Dove:

• s: stato corrente
• a: azione corrente
• r: ricompensa per l'azione
• s': stato successivo
• α: tasso di apprendimento
• γ: fattore di sconto

Esempio di una semplice tabella Q

Consideriamo una tabella Q per un mondo a griglia:

Stati: posizioni nella griglia (per esempio, A1, B1)

Azioni: spostarsi in alto, in basso, a sinistra o a destra

Inizialmente, tutti i valori Q sono impostati su zero:

Stato	Su	Giù	Sinistra	Destra
A1	0	0	0	0
B1	0	0	0	0

Inizializzazione di una tabella Q in Python

È possibile rappresentare una tabella Q utilizzando un array NumPy o un dizionario:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Esplorazione nel Q-Learning

L'agente utilizza una policy ε-greedy per trovare un equilibrio tra esplorazione e sfruttamento:

• con probabilità ε, sceglie un'azione casuale (esplorazione);
• con probabilità 1-ε, sceglie l'azione con il valore Q più alto (sfruttamento).

Vantaggi delle tabelle Q

Le tabelle Q sono semplici ed efficaci per gli ambienti di piccole dimensioni. I loro vantaggi includono:

• implementazione e debugging semplici;
• interpretazione chiara delle relazioni tra stati e azioni;
• basso costo computazionale per spazi stato-azione di piccole dimensioni.

Limiti delle tabelle Q

Le tabelle Q presentano alcuni limiti:

• non sono scalabili ad ambienti con spazi stato-azione di grandi dimensioni;
• richiedono una quantità significativa di memoria per problemi ad alta dimensionalità;
• non sono in grado di generalizzare tra stati simili.

Riepilogo e prossimi passi

In questa lezione:

• abbiamo appreso il concetto di tabella Q e la sua struttura;
• abbiamo esplorato il modo in cui i valori Q vengono aggiornati utilizzando l'equazione di Bellman;
• abbiamo discusso i vantaggi e i limiti delle tabelle Q.

Nella prossima lezione implementeremo un semplice algoritmo di Q-Learning in Python per vedere le tabelle Q in azione.