Koncepcja tablicy Q

Tablica Q to podstawowe pojęcie w uczeniu ze wzmocnieniem. Jest to tablica odwołań, w której każdy wpis przedstawia oczekiwaną nagrodę za wykonanie określonego działania w danym stanie.

Celem jest nauczenie się wartości Q, które pomagają agentowi wybierać najlepsze działania w celu maksymalizacji nagród.

Struktura tablicy Q

Tablica Q ma następującą strukturę:

• Wiersze: Przedstawiają stany środowiska.
• Kolumny: Przedstawiają działania dostępne agentowi.
• Wartości: Przedstawiają wartość Q dla par stan–działanie.

Agent aktualizuje te wartości podczas nauki.

Wzór aktualizacji wartości Q

Wartości Q są aktualizowane za pomocą równania Bellmana:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Gdzie:

• s: Bieżący stan
• a: Bieżące działanie
• r: Nagroda za działanie
• s': Następny stan
• α: Współczynnik uczenia
• γ: Współczynnik dyskontowania

Przykład prostej tablicy Q

Rozważmy tablicę Q dla środowiska siatkowego:

Stany: Pozycje w siatce (np. A1, B1)

Działania: Ruch w górę, w dół, w lewo i w prawo

Początkowo wszystkie wartości Q są ustawione na zero:

Stan	Góra	Dół	Lewo	Prawo
A1	0	0	0	0
B1	0	0	0	0

Inicjalizowanie tablicy Q w Pythonie

Tablicę Q można reprezentować za pomocą tablicy NumPy lub słownika:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Eksploracja w Q-learningu

Agent korzysta z polityki ε-zachłannej, aby zachować równowagę między eksploracją a eksploatacją:

• Z prawdopodobieństwem ε wybiera losowe działanie (eksploracja).
• Z prawdopodobieństwem 1-ε wybiera działanie o najwyższej wartości Q (eksploatacja).

Zalety tablic Q

Tablice Q są proste i skuteczne w przypadku małych środowisk. Ich zalety to:

• Łatwa implementacja i debugowanie.
• Przejrzysta interpretacja zależności między stanami a działaniami.
• Niski koszt obliczeniowy w przypadku małych przestrzeni stanów i działań.

Ograniczenia tablic Q

Tablice Q mają pewne ograniczenia:

• Nie skalują się do środowisk o dużych przestrzeniach stanów i działań.
• Wymagają znacznej ilości pamięci w przypadku problemów wielowymiarowych.
• Nie potrafią uogólniać wiedzy na podobne stany.

Podsumowanie i dalsze kroki

W tej lekcji:

• Poznali Państwo koncepcję tablicy Q i jej strukturę.
• Przeanalizowali Państwo sposób aktualizowania wartości Q za pomocą równania Bellmana.
• Omówili Państwo zalety i ograniczenia tablic Q.

W następnej kolejności zaimplementujemy w Pythonie prosty algorytm Q-learningu, aby zobaczyć tablice Q w działaniu.