Nuostolio funkcijų taikymo vaizdų panašume tyrimas

Ištrauka

Nuostolio funkcijų taikymo vaizdų panašume tyrimas
Bakalauro baigiamasis darbas

Turinys
ĮVADAS 7
1. KONVOLIUCINIAI NEURONINIAI TINKLAI 9
1.1. GeM sutelkimo sluoksnis 9
1.2. Žinių pernešimo bei modelio adaptavimo metodai 10
1.3. Požymių vektorių vertinimo metodai 11
1.3.1. Euklido atstumas 11
1.3.2. Kosinuso panašumas 11
1.3.3. HOW metodas 12
2. NUOSTOLIŲ FUNKCIJOS 13
2.1. Kontrasto nuostolio funkcija 13
2.2. SupCon nuostolio funkcija 13
2.3. Trejetų nuostolio funkcija 14
2.4. ASoſtmax nuostolio funkcija 15
2.5. CosFace nuostolio funkcija 16
2.6. ArcFace nuostolio funkcija 17
2.6.1. SubcenterArcFace nuostolio funkcija 18
2.7. Nuostolio funkcijų teorinis palyginimas 20
2.8. Trejetų bei porų išgavimo strategijos 21
3. EKSPERIMENTAS 22
3.1. Tyrimo eiga 22
3.1.1. Naudota modelių architektūra 23
3.1.2. Naudotos priemonės 23
3.2. Duomenys 24
3.2.1. „Google Landmarks Dataset v2“ 24
3.2.2. „Oxford Buildings“ ir „Paris Dataset“ 24
3.2.3. „Revisited Oxford“ ir „Revisited Paris“ 25
3.3. Eksperimente naudoti duomenų rinkinių poaibiai 25
3.3.1. Duomenų augmentacijos 26
3.4. Naudotos trejetų ir porų išgavimo strategijos 27
3.4.1 Trejetų išgavimo strategija
27
3.4.2. Porų išgavimo strategija 27
3.5. Modelių mokymo procesas 28
3.5.1 Hiperparametrų parinkimas
28
3.5.1.1 Epochų skaičiaus parinkimas
28
3.5.1.2 Mokymo žingsnio bei jo planuotojo parinkimas
29
3.5.1.3 Duomenų išgavimo naudojimas
29
3.6. Vertinimo metrikos 30
3.7. Eksperimento rezultatai 32
3.7.1. Nuostolių funkcijų pritaikymo palyginimas – mAP jvertis 32
3.7.2. Nuostolių funkcijų pritaikymo palyginimas mP@K jvertis 34
3.7.3. Duomenų atrinkimo pritaikymo tyrimas 35
REZULTATAI 36
IŠVADOS 37
ŠALTINIAI 38
SĄVOKŲ APIBRĖŽIMAI 40
PRIEDAI 41

Įvadas
Vaizdų panašumo problema susijusi su tokiais uždaviniais kaip
veidų atpažinimas, klasi fikavimas, dublikatų paieška bei panašių
vaizdų atrinkimas [WAC+20]. Pagrindinis klausimas skamba paprastai –
kaip jvertinti semantinj dviejų vaizdų panašumą? Tačiau problemos
sprendimas ne toks paprastas – naivus pikselių reikšmių palyginimas
neveiksmingas, kadangi dvi to paties objekto nuotraukų pikselių
reikšmės gali būti visiškai skirtingos (1 pav.). Vienas galimų sprendimų
yra paveikslėlius pakeisti jų reprezentacijomis, perteikiančiomis
kontekstinę informaciją. Šios reprezentacijos vadinamos esminių
požymių vektoriais, jos ir naudojamos semantiniame vaizdų panašumo
jvertinime.
(a) Originalus paveikslėlis(b) Tamsesnė versija
1pav. Du panašūs, bet nevienodi to paties pastato paveikslėliai.
Esminių požymių išgavimo uždavinj labai gerai atlieka
konvoliuciniai neuroniniai tinklai (KNT). Šių tinklų mokymo procese
svarbus vaidmuo tenka nuostolių funkcijoms jos nurodo, kiek modelio
pateikiamas rezultatas skiriasi nuo siekiamo. Tinklo parametrai
koreguojami siekiant gauti kuo mažesnes nuostolio funkcijos reikšmės,
taip apmokant tinklus spręsti specifinius uždavinius. Nuostolio
funkcijos parinkimas nulemia modelio apmokymo trukmę, jautrumą
triukšmingiems duomenims, mokymui reikalingą duomenų formatą bei
pasiekiamus rezultatus. Gausu straips nių, pristatančių naujas
nuostolio funkcijas ([DGX+19; HFW+20; KTW+20; LWY+17; SKP15;WWZ+18] ir kt.), tačiau juose nepristatomas išsamus nuostolio funkcijų idėjų bei jomis apmokytų modelių rezultatų palyginimas. Su vaizdų panašumu susijusiose funkcijose dažnai svarbus infor matyvių pavyzdžių parinkimas
taip pat ne visada jtraukiamas j palyginimus. Šiuo tyrimu siekiama užpildyti
šias spragas.

Tikslas
Išnagrinėti ir palyginti pasirinktas nuostolių funkcijas, bei jų
pritaikymo panašių vaizdų paieškos, specifiškai jžymių vietų
atpažinimo bei vaizdų atrinkimo uždaviniams spręsti. Įvertinti
duomenų atrinkimo svarbą nuostolio funkcijų pasiekiamiems
rezultatams.