ChatGPT ir Mistral AI panaudojimo palyginimas klausimų generavimui iš pateikto teksto

Ištrauka

ChatGPT ir Mistral AI panaudojimo palyginimas klausimų generavimui iš pateikto teksto
Bakalauro baigiamasis darbas

Santrauka
Pagrindinis darbo tikslas – palyginti skirtingus kalbos modelius, siekiant sukurti klausimus
iš pateikto teksto. Šiame darbe lyginamiChatGPT 3.5irMistral 7Bkalbos modeliai. Darbą sudaro
penkios dalys: kalbos modelių apžvalga; galimybės ir iššūkiai naudojant kalbos modelius švietime;
reikalavimai kuriamai sistemai, prototipo bei sistemos kūrimas; naudotų kalbos modelių klausimų
generavimo palyginimo rezultatai; sistemos vertinimas edukacinio turinio kūrimo modeliais.
Atliekant literatūros apžvalgą išryškėjo kalbos modelių privalumai edukacijos srityje – kalbos
modeliai gali turėti teigiamos įtakos mokinių skaitymo, rašymo bei teksto suvokimo ugdymui,
neįgaliems mokiniams padėtų įsitraukti į mokymosi procesus, mokytojams galėtų padėti efektyviau
atlikti darbus, generuoti idėjas žinių patikrinimams. Taip pat išskirti ir iššūkiai – autorių teisių
nepaisymas, šališkumas bei galimas sukčiavimo skatinimas. Vertinant sukurtos sistemos testavimo
rezultatus, galima pastebėti, jog sistema, naudojusiChatGPT 3.5, veikė greičiau, naudojo mažiau
sistemos išteklių bei generavo kokybiškesnius klausimus. Tuo tarpuMistral 7Bturi kitų privalumų
– testavimo metu veikė stabiliau, yra nemokama ir saugesnė duomenų apsaugos atžvilgiu. Remiantis
atliktos apklausos rezultatais irTAMedukacinio turinio sistemų vertinimo modeliu, galima daryti
išvadą, jog tokio pobūdžio sistema švietimo srityje būtų naudinga bei aiškiai suprantama pedagogų.
Raktiniai žodžiai: kalbos modelis,ChatGPT 3.5,Mistral 7B, klausimų generavimas

Turinys
ĮVADAS 5
1.CHATGPT 3.5IRMISTRAL 7BKALBOS MODELIŲ APŽVALGA 7
1.1.ChatGPT 3.5kalbos modelis 7
1.2.Mistral 7Bkalbos modelis 8
2.KALBOS MODELIŲ GALIMYBĖS IR IŠŠŪKIAI PRITAIKANT JUOS EDUKACIJOS SRITYJE 10
2.1. Galimas kalbos modelio pritaikymas edukacijos srityje 10
2.2. Galimi kalbos modelio pritaikymo iššūkiai edukacijos srityje 10
3. REIKALAVIMŲ IŠKĖLIMAS, PROTOTIPO IR SISTEMOS KŪRIMAS 12
3.1. Funkciniai ir nefunkciniai reikalavimai 12
3.2. Prototipų kūrimas 13
3.3. Kalbos modelių servisų kūrimas 15
3.4. Aplikacijos testavimas 16
4. KALBOS MODELIŲ PALYGINIMO REZULTATAI 18
4.1.ChatGPT 3.5rezultatai 18
4.2.ChatGPT 3.5sukurtų klausimų vertinimas 18
4.3.Mistral 7Brezultatai 19
4.4.Mistral 7Bsukurtų klausimų vertinimas 20
5.KURIAMŲ SISTEMŲ VERTINIMAS EDUKACINIO TURINIO KŪRIMO MODE­LIAIS 22
5.1. Kuriamų sistemų vertinimas naudojant SAMR modelį 22
5.2. Sukurtų sistemų vertinimas naudojant TAM modelį 23
REZULTATAI 27
IŠVADOS 29
ŠALTINIAI 31
PRIEDAI 32

Įvadas
Dirbtinis intelektas (DI) – bendra sąvoka, reiškianti kompiuterio naudojimą protingam
elgesiui modeliuoti su minimaliu žmogaus įsikišimu [HT17]. Naudojant dirbtinį intelektą, siekiama
sukurti programas, kurioms reikia tam tikro lygio intelekto, nes algoritmiškai (nenaudojant dirbtinio
intelekto) aprašyti visus reikiamus programos atvejus būtų sudėtinga arba praktiškai neįmanoma.
Didysis kalbos modelis (angl.large language model) yra dirbtinio intelekto forma, specialiai
sukurta darbui su tekstu. Šie kalbos modeliai dažnai gali suprasti, koreguoti, versti ar net kurti naują
tekstą. Šie gebėjimai leidžia juos naudoti ir edukacijos srityje. Pedagogai gali kurti testų klausimus,
kuriais būtų vertinamas mokymosi medžiagos įsisavinimas [SSC+23]. Tai ne tik supaprastina
egzaminavimo ir žinių patikrinimo procesą pedagogams, bet ir gali taupyti laiką, sukurti kur kas
daugiau klausimų. Tačiau prieš naudojant kalbos modelius edukacijos srityje, svarbu patyrinėti
galimą naudą ir iššūkius, kilsiančius naudojant šią technologiją.
Naudojant jau egzistuojančius kalbos modelius, jau galima sugeneruoti klausimus iš pateikto
teksto. Deja, įvesties teksto dydis paprastai yra ribojamas. Taigi, norint klausimus sukurti iš
didelės apimties teksto (pavyzdžiui, visų metų mokomosios medžiagos) to padaryti nepavyktų. Šią
problemą būtų galima išspręsti sukūrus sistemą, kuri pateiktą tekstą padalintų į mažesnes dalis ir
siųstų jas kalbos modeliui tol, kol bus sugeneruoti klausimai visam tekstui.
Deja, teksto ribojimas nėra vienintelė problema. Naudojant išorinę kalbos modelio aplikacijos
integravimo sąsają (angl.Application Programming Interface) (kaip, pavyzdžiui,ChatGPT API),
modelio naudojimas yra mokamas. Taip pat šiuo kalbos modeliu naudotojai galėtų naudotis tik tuo
atveju, jei turėtų prieigą prie interneto. Atvejais, kuomet naudotojas dėl duomenų saugos negalėtų
siųsti dokumento išoriniam servisui, šis kalbos modelis taip pat netiktų...