Grundlæggende koncepter i reinforcement learning

Grundlæggende begreber i forstærkende læring

Forstærkende læring (RL) er en form for maskinlæring, hvor en agent lærer at træffe beslutninger ved at interagere med et miljø. Målet er at maksimere belønningerne over tid.

De vigtigste komponenter i RL omfatter agenter, miljøer, belønninger og straffe.

Vigtige begreber inden for forstærkende læring:

• Agent: Den instans, der træffer beslutninger (f.eks. en robot eller software).
• Miljø: Det system, agenten interagerer med.
• Tilstand: Miljøets aktuelle situation.
• Handling: Den beslutning, agenten træffer.
• Belønning: Feedback fra miljøet for en handling.

Interaktionen mellem agenten og miljøet kan opsummeres sådan:

1. Agenten observerer miljøets aktuelle tilstand.
2. Agenten udfører en handling baseret på en politik.
3. Miljøet går over i en ny tilstand og giver en belønning.

Denne løkke fortsætter, indtil en sluttilstand nås.

Belønninger er den feedback, agenten får for sine handlinger. Målet er at maksimere den kumulerede belønning over tid. Straffe er negative belønninger, der modvirker uønskede handlinger.

For eksempel:

• Belønning: +10 for at nå et mål.
• Straf: -5 for at ramme en forhindring.

En politik er en strategi, som agenten bruger til at vælge handlinger ud fra den aktuelle tilstand.

Typer af politikker:

• Deterministisk: Vælger altid den samme handling for en given tilstand.
• Stokastisk: Vælger handlinger ud fra sandsynligheder.

Agenten står over for en afvejning mellem:

• Udforskning: At prøve nye handlinger for at lære mere om miljøet.
• Udnyttelse: At vælge de handlinger, der giver den højeste kendte belønning.

Det er afgørende at finde en balance mellem disse for at opnå effektiv indlæring.

Problemer inden for forstærkende læring modelleres ofte som en MDP, der defineres af:

• Tilstande (S): Mulige konfigurationer af miljøet.
• Handlinger (A): Valgmuligheder, der er tilgængelige for agenten.
• Belønninger (R): Feedback for handlinger.
• Overgangssandsynligheder (P): Sandsynligheden for at bevæge sig mellem tilstande.

Forstærkende læring har nogle udfordringer:

• Forsinkede belønninger: Belønninger kan modtages efter flere handlinger.
• Sparsomme belønninger: Belønninger kan forekomme sjældent.
• Høj dimensionalitet: Komplekse miljøer med mange tilstande og handlinger.

I denne lektion:

• Undersøgte vi de grundlæggende begreber i forstærkende læring, herunder agenter, miljøer og belønninger.
• Diskuterede vi politikker, udforskning over for udnyttelse samt MDP'er.
• Lærte vi om udfordringerne ved RL.

Derefter går vi i dybden med begrebet Q-tabel, som er en grundlæggende tilgang til forstærkende læring.