Bepiločių orlaivių nuotraukų semantinis segmentavimas naudojant gilųjį neuroninį tinklą

Ištrauka

Bepiločių orlaivių nuotraukų semantinis 
segmentavimas naudojant gilųjį neuroninį tinklą
Bakalaurinis darbas

Turinys
Santrauka.........................................................................................................................................2
Summary..........................................................................................................................................3
Įvadas...............................................................................................................................................6
1. Semantinis segmentavimas..................................................................................................8
2. Neuroninių tinklų pasirinkimas........................................................................................10
2.1. Kriterijai...........................................................................................................................10
2.2. Neuroninių tinklų palyginimas.........................................................................................10
2.2.1. Konvoliuciniai neuroniniai tinklai...............................................................................11
2.2.2. Transformerių neuroniniai tinklai................................................................................11
2.2.3. Rekurentiniai neuroniniai tinklai.................................................................................11
2.3. Pasirinkti neuroniniai tinklai............................................................................................12
3. Konvoliuciniai neuroniniai tinklai....................................................................................13
3.1. Konvoliucinis sluoksnis...................................................................................................14
3.2. Sutelkimo sluoksnis.........................................................................................................14
3.3. Aktyvacijos funkcija (ReLU)...........................................................................................15
3.4. Nuostolių funkcija............................................................................................................15
3.5. Konvoliucinių neuroninių tinklų privalumai....................................................................16
4. Transformerių neuroninis tinkas......................................................................................17
4.1. Dėmesio sutelkimo mechanizmas....................................................................................17
4.1.1. Dėmesio sutelkimo apskaičiavimas..............................................................................17
4.2. „Softmax“ funkcija..........................................................................................................18
4.3. Tiesioginio sklidimo tinklas.............................................................................................18
4.4. Galutinis išeities apdorojimas..........................................................................................18
4.5. Transformerių neuroninių tinklų privalumai....................................................................19
5. Konvoliucinių ir transformerių neuroninių tinklų architektūrų palyginimas...............20
6. Pasirinktų modelių analizė................................................................................................21
6.1. UNet++............................................................................................................................21
6.1.1. UNet++ architektūra....................................................................................................21
6.2. PSPNet.............................................................................................................................22
6.2.1. PSPNet architektūra.....................................................................................................22
6.3. SegFormer........................................................................................................................22
6.3.1. SegFormer architektūra................................................................................................23
7. Eksperimentas....................................................................................................................24
7.1. Programinė įranga ir įrankiai............................................................................................24
7.2. Duomenų rinkinys............................................................................................................24
7.3. Duomenų apdorojimas.....................................................................................................25
7.4. Metrikos...........................................................................................................................25
7.5. Modelių treniravimo rezultatai.........................................................................................26
7.5.1. UNet++........................................................................................................................26
7.5.2. PSPNet........................................................................................................................27
7.5.3. SegFormer MiT-b1......................................................................................................28
7.6. Bandymas su kintančio mastelio nuotraukomis................................................................29
8. Rezultatai ir išvados...........................................................................................................33
Šaltiniai...........................................................................................................................................35
Priedai............................................................................................................................................37

Įvadas
Bepilotis orlaivis, arba dažniau vadinamas – dronas, tai dažniausiai nuotoliniu būdu
valdomas orlaivis be įgulos. Dronai turi daug paskirčių. Jie naudojami sunkiai pasiekiamų
vietovių tyrimams, komerciniams tikslams, taip pat dronai dažnai naudojami kariniais tikslais –
žvalgybai ir kovinių operacijų vykdymui. Dronai nėra šių laikų naujovė, jie buvo išrasti dar I
Pasaulinio karo metu [Sat14]. Laikui bėgant jie tapo vis modernesni ir patogesni, dronai pradėjo
sugebėti išgauti vaizdinę, garsinę ir sensorinę informaciją.
Nuotraukų segmentavimas yra svarbus daugelyje sričių, tokių kaip autonominių
automobilių kūrimas, medicina, rentgeno nuotraukų nagrinėjimas, nuotolinis stebėjimas. Tačiau
šis uždavinys, naudojant bepiločių orlaivių išgautomis nuotraukomis, svarbus tvarių miestų
planavimui, tiksliajam (preciziniam) ūkininkavimui ir kariniams tikslams. Minėtose srityse
dažnai naudojami brangūs bepiločiai orlaiviai, naudojantys dirbtinį intelektą, todėl vienas
svarbiausių dirbtinio intelekto uždavinių šiuose dronuose yra tikslus nusileidimo vietos
aptikimas. Tokiems uždaviniams pasitelkiami giliųjų neuroninių tinklų modeliai, dažnai
naudojami semantiniame segmentavime. Šiose srityse svarbu išgauti aukštą skirtingų objektų
atpažinimo ir jų vietos tikslumą. Tačiau reikia atsižvelgti į dronų nuotraukų kokybę, jose esančių
tos pačios klasės objektų dydį, įvairias oro sąlygas ir kitus aspektus. Šiam uždaviniui sukurti
duomenų rinkiniai dažnai yra sudaryti tik iš geros kokybės nuotraukų, darytų esant geromis oro
sąlygomis, todėl apdorojant nuotraukas dažnai taikoma nuotraukų augmentacija, pridedami
triukšmo filtrai, šviesumo kontrasto iškraipymo transformacijos ir daugelis kitų. Nuotraukų
augmentacijos taikymas gali ne vien padidinti bendrą duomenų rinkinio informacijos kiekį, taip
suteikiant modeliui daugiau mokomosios medžiagos, tačiau ir sukurti labiau realistiškas
nuotraukas modelio mokymui. Neteisingai atpažintas objektas arba objekto vieta gali sukelti
didelius nuostolius. Todėl svarbu pasirinkti tinkamą modelį ir jį apmokyti su įvairiomis,
augmentuotomis nuotraukomis.
Darbo tikslas
Pagal iškeltus kriterijus rasti du tinkamiausius giliųjų neuroninių tinklų tipus, drono
nusileidimo vietos uždaviniui spręsti. Su jais atlikti semantinio segmentavimo užduotį su
pasirinktu duomenų rinkiniu ir sukurtu dronų nuotraukų duomenų rinkiniu, siekiant rasti
tinkamiausią neuroninio tinklo architektūrą nusileidimo vietos aptikimui iš skirtingų aukščių.