Drono nusileidimo vietos nustatymas naudojant semantinę segmentaciją

Ištrauka

Drono nusileidimo vietos nustatymas naudojant semantinę segmentaciją
Bakalauro darbas

Turinys
Santrauka........................................................................................................................1
Summary.........................................................................................................................2
Įvadas...........................................................................................................................................5
1 Semantinis segmentavimas...................................................................................6
2 Kriterijai neuroninių tinklų architektūroms.................................................................7
3 Konvoliuciniai neuroniniai tinklai..........................................................................8
3.1 Konvoliucija..................................................................................................................8
3.2 Aktyvacijos funkcija......................................................................................................8
3.3 Sutraukimo sluoksniai...................................................................................................8
3.4 KNT privalumai semantinėje segmentacijoje................................................................9
3.5 KNT trūkumai semantinėje segmentacijoje...................................................................9
4 Transformerių neuroniai tinklai...................................................................................11
4.1 Savarankiško dėmesio mechanizmas...........................................................................11
4.1.1 Savarankiško dėmesio skaičiavimas........................................................................11
4.2 Pozicijos užkodavimas................................................................................................12
4.3 Transformerių privalumai semantiniame segmentavime.............................................12
5 KNT ir transfomerių architektūrų palyginimas.........................................................14
6 Neuroninių tinklų architektūrų analizė.......................................................................15
6.1 Deeplabv3...................................................................................................................15
6.1.1 Išplėstoji konvoliucija.............................................................................................15
6.1.2 Plečiantysis erdvinis piramidės sutraukimas...........................................................16
6.1.3 Enkoderio, dekoderio struktūra...............................................................................16
6.1.4 DeepLabv3+............................................................................................................16
6.1.5 Rezultatai................................................................................................................17
6.2 SegFormer...................................................................................................................17
6.2.1 Hierarchinis enkoderis............................................................................................17
6.2.2 Efektyvus savipriežiūros mechanizmas...................................................................18
6.2.3 Daugiasluoksniu perceptronu remtas dekoderis......................................................18
6.2.4 Rezultatai................................................................................................................19
7 Eksperimentas......................................................................................................20
7.1 Programinė įranga.......................................................................................................20
7.2 Duomenų rinkinys.......................................................................................................20
7.3 Duomenų apdorojimas.................................................................................................20
7.4 Metrikos......................................................................................................................21
7.5 Modelių treniravimo rezultatai....................................................................................22
7.5.1 Segformer MiT-b0..................................................................................................22
7.5.2 Segformer MiT-b2..................................................................................................23
7.5.3 Deeplabv3+.............................................................................................................24
7.6 Bandymas su kintančiu masteliu.................................................................................25
8 Rezultatai ir išvados.......................................................................................................29
Literatūra...................................................................................................................................31
Priedai...........................................................................................................................32

Įvadas
Dronas - bepilotis lėktuvas, skraidantis robotas, kuris gali būti valdomas nuotolinių būdų
arba skristi savarankiškai, naudojant iš anksto paruoštus skrydžio planus. Informacija išgauta
dronais - dažniausiai sensorinė, garsinė, geografinė arba vaizdinė (nuotraukos ir vaizdo įrašai).
Dronų naudojimas paplito ne tik tokiose akivaizdžiose srityse, kaip karyba [Ros18], tačiau vis
dažniau yra pradedami naudoti ir civilinių asmenų veiklose.
Šiame darbe bus nagrinėjami vaizdiniai duomenys, išgauti dronų pagalba - nuotraukos.
Naudojant dronais išgautų nuotraukų duomenų rinkinį bus atliktas nuotraukų analizės uždavinys,
kuris yra svarbus išgaunant svarbius duomenis, sprendžiant klimato atšilimo problemą, tiriant
gamtą, pavyzdžiui, nustatant medžių aukštį [Slb20], ar sprendžiant kitas problemas, kurioms
reikia dronų savieigiškumo ir lengvumo valdyti - nuotraukų semantinis segmentavimas.
Dronais išgautų nuotraukų segmentacija dažnai naudojama, kaip ir buvo minėta, gamtos
tyrimuose ir segmentuojamos miško, laukų ar ūkių nuotraukos, tačiau labai mažai tyrimų yra
padaryta segmentuojant miesto nuotraukas bei vaizdus, kur pavyzdžiui nustatomos vietos, kur
galima dronui leistis, arba įdentifikuojami judantys objektai. Šiame darbe bus nagrinėjama būtent
toks duomenų rinkinys – iš pakankamai arti padarytų miesto nuotraukų.
Šio darbo tikslas yra įgyvendinti drono nusileidimo vietos paieškos užduotį su pasirinktu
miesto nuotraukų, padarytų dronais duomenų rinkiniu naudojant skirtingas neuroninių tinklų
architekturas ir išrinkti labiausiai tinkamą tokio tipo užduočiai atlikti pagal išsirinktus kriterijus.
Šio darbo uždaviniai:
1. Išanalizuoti dronais išgautų nuotraukų duomenų rinkinius ir nuotraukų segmentavimo metodus.
2. Pagal išsikeltus kriterijus išsirinkti giliojo mokymosi architektūras užduočiai įgyvendinti
3. Realizuoti pasirinktas skirtingas neuroninių tinklų architektūras.
4. Sukurti duomenų rinkinį, kintančio mastelio įtakos vertinimui
5. Įvertinti, kaip kiekvienos architektūros tikslumą paveikia kintantis mastelis nuotraukose.