Daugiaagentinių skatinamojo mokymosi algoritmų palyginimas simuliacinėse aplinkose

Ištrauka

Daugiaagentinių skatinamojo mokymosi algoritmų palyginimas simuliacinėse aplinkose
Bakalauro baigiamasis darbas

Turinys
ĮVADAS..........................................................................................................................................6
1. DAUGIAAGENTINIS SKATINAMASIS MOKYMASIS.....................................................8
1.1. Įvadas j skatinamąjj mokymą...........................................................................8
1.2. Markovo sprendimo priėmimo procesai.........................................................8
1.3. Pagrindinės skatinamojo mokymosi sąvokos.............................................9
1.4. Skatinamojo mokymosi algoritmai.................................................................10
1.4.1.....................................................................................................Ve
rtės funkcijos iteracija grindžiami algoritmai................................10
1.4.2. Strategijos iteracija grindžiami algoritmai.....................................10
1.4.3.....................................................................................................Akt
oriaus-kritiko algoritmai...............................................................................10
1.5. Daugiaagentinio mokymosi algoritmai........................................................11
1.5.1. Įvadas j daugiaagentinj skatinamąjj mokymą.............................11
1.5.2. IPPO......................................................................................................................11
1.5.3. MAPPO.................................................................................................................12
1.5.4. QMIX.....................................................................................................................12
2. EKSPERIMENTINIO TYRIMO APLINKA........................................................................14
2.1..............................................................................................................„M
elting Pot“ simuliacinė aplinka.........................................................................14
2.2..............................................................................................................„T
orchRL“ biblioteka.....................................................................................................16
2.3..............................................................................................................„W
eights & Biases“ platforma..................................................................................16
2.4. Eksperimentų atlikimas.......................................................................................16
3. DAUGIAAGENTINIO MOKYMOSI ĮVERTINIMO RODIKLIAI.....................................17
3.1. Bendro atlygio vidurkis........................................................................................17
3.2. Lygybės rodiklis........................................................................................................17
3.3. Tvarumo rodiklis......................................................................................................17
4. EKSPERIMENTINIS APLINKOS „BENDRUOMENIŲ DERLIAUS NUĖMIMAS“ 
TY- RIMAS.................................................................................................................................................18
4.1. Atsitiktinė strategija...............................................................................................18
4.2. IPPO................................................................................................................................18
4.2.1. Bendra eksperimentų konfigūracija..................................................18
4.2.2. Pirmas eksperimentas - individualus atlygis, dalinamasi 
parametrais.....................................................................................................19
4.2.3.....................................................................................................An
tras eksperimentas - bendras atlygis, dalinamasi
parametrais.....................................................................................................20
4.2.4.....................................................................................................Tr
ečias eksperimentas - bendras atlygis, nesidalinama
parametrais.....................................................................................................21
4.2.5. Ketvirtas eksperimentas - individualus modifikuotas atlygis
...............................................................................................................................22
4.3. MAPPO...........................................................................................................................23
4.3.1. Pirmas eksperimentas - individualus atlygis................................23
4.3.2.....................................................................................................An
tras eksperimentas - individualus modifikuotas atlygis.........24
4.4. QMIX..............................................................................................................................25
4.4.1. Pirmas eksperimentas - individualus atlygis................................26
4.4.2.....................................................................................................An
tras eksperimentas - individualus modifikuotas atlygis.........27
5. EKSPERIMENTINIS APLINKOS „UPĖS VALYMAS“ TYRIMAS.............................28
REZULTATAI..............................................................................................................................30
IŠVADOS.....................................................................................................................................32
PADĖKA.......................................................................................................................................33
ŠALTINIAI....................................................................................................................................34
PRIEDAI.......................................................................................................................................37

Įvadas
Daugiaagentinis skatinamasis mokymasis (angl. Multi-agent
reinforcement learning, dažnai trumpinama kaip MARL) - sritis, nagrinėjanti
algoritmus ir strategijas, leidžiančias keliems agen- tams mokytis
bendradarbiauti, prisitaikyti ir priimti sprendimus bendroje aplinkoje.
Pastarai- siais metais MARL sulaukė nemažai dėmesio dėl gebėjimo
spręsti sudėtingas realaus pasaulio problemas, su kuriomis tradicinis
skatinamasis mokymasis nepajėgus susidoroti. Keletas pavyz- džių -
MARL pritaikymas siekiant pagerinti kompiuterinių tinklų paketų
maršrutų paskirstymą [YLX+22], tiriant saugių autonominių vairavimo
sistemų kūrimą [SSS16] ar sprendžiant optima- lios mokesčių politikos
formavimo problemą, kuria siekiama pagerinti socialinę gerovę
[ZTS+22]. Dėl augančio pritaikomumo, didėja ir daugiaagentinių
skatinamojo mokymosi algoritmų tyrimų poreikis.
Skirtingai nuo tradicinio skatinamojo mokymosi, kurio metu agento
tikslas yra efektyviai maksimizuoti tikėtiną grąžą, daugiaagentinio
skatinamojo mokymosi atveju - kartais tikslai nėra taip aiškiai apibrėžti.
Egzistuoja dvi pagrindinės tyrimų kryptys [DLI+23]: viena jų orientuota
j bendrų verčių maksimizavimą [RSW+18], apibūdinama kaip
komandiniai Markovo žaidimai arba keleto agentų Markovo sprendimo
priėmimo procesai (angl. Markov Decision Process, dažnai trumpinama kaip
MDP), o kita siekia rasti bendrą pagrindą tarp agentų ir skatinti jų
socialinę gerovę arba išvengti socialinių dilemų [MRK+23].
Abi šios sritys susiduria su bendra problema - daugiaagentinės
sistemos ne stocianarumu. Daugiaagentinės sistemos pasižymi ne
stacionarumu, [DLI+23], kadangi bet kurio agento stra - tegijos
patobulinimą kiti sistemos agentai patiria kaip jų patirties
pasiskirstymo pokytj. Be to, didėjant agentų skaičiui eksponentiškai
didėja ir bendra atliekamų veiksmų erdvė. Dėl to algo- ritmų, kuriais
bandoma tiesiogiai modeliuoti bendrų veiksmų erdvę, mokymo laikas
gali išaugti. Pažymėtina ir tai, kad tyrinėjimas, esantis vienu iš
pagrindinių skatinamojo mokymosi dalių, tampa sudėtingesnis, nes
būtina koordinuoti tyrinėjamų veiksmų pasirinkimą.
Kita pastebima problema - sudėtingesnis agentų
bendradarbiavimas esant paskatai konku - ruoti [DLI+23]. Pavyzdžiui,
futbolo žaidime, nors žaidėjai siekia komandos pergalės, premijos už
jmuštus jvarčius gali sukelti konfliktų. Jei svarbi būtų tik komandos
sėkmė, žaidėjai laikytų- si optimalios komandos strategijos, pvz.,
perduotų kamuolj, kad padidintų šansus jmušti jvartj.