Grundläggande begrepp inom förstärkningsinlärning

Grundläggande begrepp inom förstärkningsinlärning

Förstärkningsinlärning (RL) är en typ av maskininlärning där en agent lär sig att fatta beslut genom att interagera med en miljö. Målet är att maximera belöningar över tid.

Viktiga komponenter i förstärkningsinlärning är agenter, miljöer, belöningar och bestraffningar.

Viktiga termer inom förstärkningsinlärning:

• Agent: Beslutsfattaren (t.ex. en robot eller programvara).
• Miljö: Systemet som agenten interagerar med.
• Tillstånd: Miljöns aktuella situation.
• Handling: Beslutet som agenten fattar.
• Belöning: Återkoppling från miljön för en handling.

Interaktionen mellan agent och miljö kan sammanfattas så här:

1. Agenten observerar miljöns aktuella tillstånd.
2. Agenten utför en handling baserat på en policy.
3. Miljön övergår till ett nytt tillstånd och ger en belöning.

Denna loop fortsätter tills ett terminalt tillstånd nås.

Belöningar är den återkoppling agenten får för sina handlingar. Målet är att maximera den kumulativa belöningen över tid. Bestraffningar är negativa belöningar som motverkar oönskade handlingar.

Till exempel:

• Belöning: +10 för att nå ett mål.
• Bestraffning: -5 för att träffa ett hinder.

En policy är en strategi som agenten använder för att välja handlingar baserat på det aktuella tillståndet.

Typer av policyer:

• Deterministisk: Väljer alltid samma handling för ett givet tillstånd.
• Stokastisk: Väljer handlingar utifrån sannolikheter.

Agenten måste hantera en avvägning mellan:

• Utforskning: Testa nya handlingar för att lära sig mer om miljön.
• Exploatering: Välja handlingar som ger den högsta hittills kända belöningen.

Att balansera dessa är avgörande för effektiv inlärning.

Problem inom förstärkningsinlärning modelleras ofta som en MDP, som definieras av:

• Tillstånd (S): Möjliga konfigurationer hos miljön.
• Handlingar (A): Val som är tillgängliga för agenten.
• Belöningar (R): Återkoppling för handlingar.
• Övergångssannolikheter (P): Sannolikheten för att förflytta sig mellan tillstånd.

Förstärkningsinlärning medför vissa utmaningar:

• Fördröjda belöningar: Belöningar kan tas emot efter flera handlingar.
• Glesa belöningar: Belöningar kan förekomma sällan.
• Hög dimensionalitet: Komplexa miljöer med många tillstånd och handlingar.

I den här lektionen:

• Utforskade vi grundläggande begrepp inom förstärkningsinlärning, inklusive agenter, miljöer och belöningar.
• Diskuterade vi policyer, utforskning kontra exploatering samt MDP:er.
• Lärde vi oss om utmaningarna inom RL.

Härnäst går vi igenom konceptet Q-tabell, en grundläggande metod inom förstärkningsinlärning.