Podstawowe pojęcia uczenia ze wzmocnieniem

Uczenie ze wzmocnieniem (RL) to rodzaj uczenia maszynowego, w którym agent uczy się podejmować decyzje, wchodząc w interakcję ze środowiskiem. Celem jest maksymalizacja nagród w czasie.

Do kluczowych elementów uczenia ze wzmocnieniem należą agenci, środowiska, nagrody i kary.

Kluczowa terminologia w RL

Ważne terminy związane z uczeniem ze wzmocnieniem:

• Agent: Podmiot podejmujący decyzje (np. robot lub oprogramowanie).
• Środowisko: System, z którym agent wchodzi w interakcję.
• Stan: Aktualna sytuacja środowiska.
• Akcja: Decyzja podejmowana przez agenta.
• Nagroda: Informacja zwrotna ze środowiska dotycząca wykonanej akcji.

Interakcja agenta ze środowiskiem

Interakcję agenta ze środowiskiem można podsumować następująco:

1. Agent obserwuje aktualny stan środowiska.
2. Agent wykonuje akcję na podstawie polityki.
3. Środowisko przechodzi do nowego stanu i przyznaje nagrodę.

Ta pętla trwa do momentu osiągnięcia stanu końcowego.

Nagrody i kary

Nagrody to informacje zwrotne przekazywane agentowi za jego działania. Celem jest maksymalizacja skumulowanej nagrody w czasie. Kary to ujemne nagrody, które zniechęcają do niepożądanych działań.

Na przykład:

• Nagroda: +10 za osiągnięcie celu.
• Kara: -5 za uderzenie w przeszkodę.

Polityki w RL

Polityka to strategia używana przez agenta do wybierania akcji na podstawie aktualnego stanu.

Rodzaje polityk:

• Deterministyczna: Zawsze wybiera tę samą akcję dla danego stanu.
• Stochastyczna: Wybiera akcje na podstawie prawdopodobieństwa.

Eksploracja a eksploatacja

Agent musi znaleźć kompromis między:

• Eksploracją: Wypróbowywaniem nowych akcji w celu lepszego poznania środowiska.
• Eksploatacją: Wybieraniem akcji, które przynoszą najwyższą znaną nagrodę.

Zachowanie równowagi między nimi ma kluczowe znaczenie dla skutecznego uczenia.

Proces decyzyjny Markowa (MDP)

Problemy uczenia ze wzmocnieniem często modeluje się jako MDP, który definiują:

• Stany (S): Możliwe konfiguracje środowiska.
• Akcje (A): Możliwości dostępne dla agenta.
• Nagrody (R): Informacje zwrotne dotyczące akcji.
• Prawdopodobieństwa przejścia (P): Prawdopodobieństwo przechodzenia między stanami.

Wyzwania związane z uczeniem ze wzmocnieniem

Uczenie ze wzmocnieniem wiąże się z pewnymi wyzwaniami:

• Opóźnione nagrody: Nagrody mogą być otrzymywane dopiero po wykonaniu kilku akcji.
• Rzadkie nagrody: Nagrody mogą występować rzadko.
• Wysoka wymiarowość: Złożone środowiska z wieloma stanami i akcjami.

Podsumowanie i kolejne kroki

W tej lekcji:

• Poznaliśmy podstawowe pojęcia uczenia ze wzmocnieniem, w tym agentów, środowiska i nagrody.
• Omówiliśmy polityki, eksplorację i eksploatację oraz MDP.
• Poznaliśmy wyzwania związane z RL.

Następnie zagłębimy się w pojęcie tablicy Q, będące podstawowym podejściem do uczenia ze wzmocnieniem.