Pojęcie tablicy Q

Tablica Q jest podstawowym pojęciem w uczeniu ze wzmocnieniem. To tablica wyszukiwania, w której każdy wpis reprezentuje oczekiwaną nagrodę za wykonanie określonej akcji w danym stanie.

Celem jest nauczenie się wartości Q, które kierują agentem tak, aby wybierał najlepsze akcje i maksymalizował nagrody.

Struktura tablicy Q

Tablica Q ma następującą strukturę:

• Wiersze: Reprezentują stany środowiska.
• Kolumny: Reprezentują akcje dostępne dla agenta.
• Wartości: Reprezentują wartość Q dla par stan–akcja.

Agent aktualizuje te wartości podczas uczenia.

Wzór aktualizacji wartości Q

Wartości Q aktualizuje się za pomocą równania Bellmana:

Q(s, a) = Q(s, a) + α [r + γ max(Q(s', a')) - Q(s, a)]

Gdzie:

• s: Aktualny stan
• a: Aktualna akcja
• r: Nagroda za akcję
• s': Następny stan
• α: Współczynnik uczenia
• γ: Współczynnik dyskontowania

Przykład prostej tablicy Q

Rozważmy tablicę Q dla środowiska z siatką:

Stany: Pozycje na siatce (np. A1, B1)

Akcje: Przejście w górę, w dół, w lewo lub w prawo

Początkowo wszystkie wartości Q są ustawione na zero:

Stan	Góra	Dół	Lewo	Prawo
A1	0	0	0	0
B1	0	0	0	0

Inicjalizowanie tablicy Q w Pythonie

Możemy reprezentować tablicę Q za pomocą tablicy NumPy lub słownika:

import numpy as np

# Example: Q-Table for 5 states and 4 actions
num_states = 5
num_actions = 4
q_table = np.zeros((num_states, num_actions))

print("Initial Q-Table:")
print(q_table)

Eksploracja w uczeniu Q

Agent używa polityki ε-zachłannej, aby zachować równowagę między eksploracją a eksploatacją:

• Z prawdopodobieństwem ε wybiera losową akcję (eksploracja).
• Z prawdopodobieństwem 1-ε wybiera akcję o najwyższej wartości Q (eksploatacja).

Zalety tablic Q

Tablice Q są proste i skuteczne w małych środowiskach. Ich zalety obejmują:

• Łatwą implementację i debugowanie.
• Jasną interpretację zależności stan–akcja.
• Niski koszt obliczeniowy w przypadku małych przestrzeni stanów i akcji.

Ograniczenia tablic Q

Tablice Q mają pewne ograniczenia:

• Nie skalują się dobrze w środowiskach z dużymi przestrzeniami stanów i akcji.
• Wymagają znacznej ilości pamięci w przypadku problemów wielowymiarowych.
• Nie potrafią generalizować na podstawie podobnych stanów.

Podsumowanie i kolejne kroki

W tej lekcji:

• Poznaliśmy pojęcie tablicy Q i jej strukturę.
• Przeanalizowaliśmy sposób aktualizowania wartości Q za pomocą równania Bellmana.
• Omówiliśmy zalety i ograniczenia tablic Q.

Następnie zaimplementujemy w Pythonie prosty algorytm Q-Learning, aby zobaczyć tablice Q w działaniu.