Podstawowe pojęcia uczenia ze wzmocnieniem

Uczenie ze wzmocnieniem (RL) to rodzaj uczenia maszynowego, w którym agent uczy się podejmować decyzje poprzez interakcję ze środowiskiem. Celem jest maksymalizacja nagród w czasie.

Najważniejsze elementy RL to agenci, środowiska, nagrody i kary.

Kluczowa terminologia w RL

Ważne pojęcia w uczeniu ze wzmocnieniem:

• Agent: Podmiot podejmujący decyzje (np. robot lub oprogramowanie).
• Środowisko: System, z którym agent wchodzi w interakcję.
• Stan: Bieżąca sytuacja środowiska.
• Działanie: Decyzja podjęta przez agenta.
• Nagroda: Informacja zwrotna ze środowiska dotycząca działania.

Interakcja agenta ze środowiskiem

Interakcję agenta ze środowiskiem można podsumować następująco:

1. Agent obserwuje bieżący stan środowiska.
2. Agent wykonuje działanie na podstawie polityki.
3. Środowisko przechodzi do nowego stanu i przyznaje nagrodę.

Pętla ta trwa do momentu osiągnięcia stanu końcowego.

Nagrody i kary

Nagrody to informacje zwrotne przekazywane agentowi za jego działania. Celem jest maksymalizacja łącznej nagrody w czasie. Kary to ujemne nagrody, które zniechęcają do niepożądanych działań.

Na przykład:

• Nagroda: +10 za osiągnięcie celu.
• Kara: -5 za uderzenie w przeszkodę.

Polityki w RL

Polityka to strategia używana przez agenta do wyboru działań na podstawie bieżącego stanu.

Rodzaje polityk:

• Deterministyczna: Zawsze wybiera to samo działanie dla danego stanu.
• Stochastyczna: Wybiera działania probabilistycznie.

Eksploracja a eksploatacja

Agent musi znaleźć równowagę między:

• Eksploracją: Wypróbowywaniem nowych działań w celu lepszego poznania środowiska.
• Eksploatacją: Wybieraniem działań, które zapewniają najwyższą znaną nagrodę.

Zachowanie równowagi między tymi podejściami ma kluczowe znaczenie dla skutecznego uczenia.

Proces decyzyjny Markowa (MDP)

Problemy uczenia ze wzmocnieniem są często modelowane jako MDP definiowany przez:

• Stany (S): Możliwe konfiguracje środowiska.
• Działania (A): Możliwości dostępne agentowi.
• Nagrody (R): Informacje zwrotne dotyczące działań.
• Prawdopodobieństwa przejść (P): Prawdopodobieństwo przechodzenia między stanami.

Wyzwania związane z uczeniem ze wzmocnieniem

Uczenie ze wzmocnieniem wiąże się z pewnymi wyzwaniami:

• Opóźnione nagrody: nagrody mogą być przyznawane dopiero po wykonaniu kilku działań.
• Rzadkie nagrody: nagrody mogą pojawiać się sporadycznie.
• Duża liczba wymiarów: złożone środowiska obejmują wiele stanów i działań.

Podsumowanie i dalsze kroki

W tej lekcji:

• Poznali Państwo podstawowe pojęcia uczenia ze wzmocnieniem, w tym agentów, środowiska i nagrody.
• Omówili Państwo polityki, eksplorację i eksploatację oraz MDP.
• Poznali Państwo wyzwania związane z RL.

W następnej kolejności omówimy koncepcję tablicy Q, będącą podstawowym podejściem do uczenia ze wzmocnieniem.