Concetto di Q-Table

La Q-Table è un concetto fondamentale del reinforcement learning. È una tabella di ricerca in cui ogni voce rappresenta la ricompensa prevista per l'esecuzione di una determinata azione in un dato stato.

L'obiettivo è apprendere i Q-value, che guidano l'agente nella scelta delle azioni migliori per massimizzare le ricompense.

Struttura di una Q-Table

La Q-Table è strutturata come segue:

• Righe: Rappresentano gli stati dell'ambiente.
• Colonne: Rappresentano le azioni disponibili per l'agente.
• Valori: Rappresentano il Q-value per le coppie stato-azione.

L'agente aggiorna questi valori durante l'apprendimento.

Formula di aggiornamento del Q-value

I Q-value vengono aggiornati utilizzando l'equazione di Bellman:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Dove:

• s: Stato attuale
• a: Azione attuale
• r: Ricompensa per l'azione
• s': Stato successivo
• α: Tasso di apprendimento
• γ: Fattore di sconto

Esempio di una Q-Table semplice

Consideriamo una Q-Table per un ambiente a griglia:

Stati: Posizioni nella griglia, ad esempio A1, B1

Azioni: Muoversi verso l'alto, il basso, a sinistra o a destra

Inizialmente, tutti i Q-value sono impostati su zero:

Stato	Su	Giù	Sinistra	Destra
A1	0	0	0	0
B1	0	0	0	0

Inizializzazione di una Q-Table in Python

Possiamo rappresentare una Q-Table utilizzando un array NumPy o un dizionario:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Esplorazione nel Q-Learning

L'agente utilizza una policy ε-greedy per trovare un equilibrio tra esplorazione e sfruttamento:

• Con probabilità ε, sceglie un'azione casuale (esplorazione).
• Con probabilità 1-ε, sceglie l'azione con il Q-value più alto (sfruttamento).

Vantaggi delle Q-Table

Le Q-Table sono semplici ed efficaci per gli ambienti di piccole dimensioni. I loro vantaggi includono:

• Implementazione e debugging semplici.
• Interpretazione chiara delle relazioni tra stati e azioni.
• Basso costo computazionale per spazi ridotti di stati e azioni.

Limitazioni delle Q-Table

Le Q-Table presentano alcune limitazioni:

• Non sono scalabili in ambienti con spazi stato-azione di grandi dimensioni.
• Richiedono una quantità significativa di memoria per i problemi ad alta dimensionalità.
• Non sono in grado di generalizzare tra stati simili.

Riepilogo e prossimi passi

In questa lezione:

• Abbiamo esaminato il concetto di Q-Table e la sua struttura.
• Abbiamo analizzato come vengono aggiornati i Q-value usando l'equazione di Bellman.
• Abbiamo discusso i vantaggi e le limitazioni delle Q-Table.

Successivamente, implementeremo in Python un semplice algoritmo di Q-Learning per osservare le Q-Table in azione.