Tehisintellekti süsteemid, mida kutsutakse krattideks, aitavad suuri andmemahukaid ja tüütuid töid inimestel lihtsamini ja kiiremini ära teha. Krattide arendamisel on suur roll riigil, kes soovib tehisintellekti aina enam erinevates valdkondades rakendada.
Muinsuskaitseamet on üks Eesti kultuuriasutustest, kes krattide rakendamisel olulist kasu näeb. Eelmisel aastal tegi STACC koos ametiga museaalide säilitamise krati Sälli (loe lähemalt siit), kus andmeteadlaste poolt loodud tehisintellekt aitab muuseumite töötajatel jälgida vanu esemeid, mille eest peab säilimiseks erilist hoolt kandma. Eduka koostöö jätkuna käivitati museaalide kirjeldamise kratt Folli prototüübi arendus.
„STACC on usaldusväärne ja kaasamõtlev partner. Muinsuskaitseametil on STACC-iga väga meeldiv koostöö olnud ning ma arvan, et olulisim põhjus on siin meile mõlemale sobiv väärtusruum. Neile on oluline, et nad loovad midagi uut ja vajalikku, midagi millest on kasu. Kui tegime Folli projekti, siis nägin kuidas ka STACC-i meeskonnal läksid silma põlema sellest, mida kõike on võimalik teha. Andmeteadus on niivõrd oluline tänasel päeval ja mul hea meel, et meil Eestis niivõrd tugevad tegijad selles valdkonnas. Neil on tugev motivatsioon end projektidega ajalukku kirjutada ja see innustab meid ka! Vähetähtis pole ka see, et nad on alati korrektsed asjaajamises ja tähtaegades.“
Muinsuskaitseameti juht Mirjam Rääbis
Miks vajab muuseum kratti?
Muinsuskaitseameti soov oli automatiseerida digitaalsete objektide kirjeldamist läbi pildituvastustehnoloogiate ja tõsta seeläbi ka museaalide kirjelduste kvaliteeti.
Muuseumide infosüsteemiga MuIS töötab ligikaudu 200 inimest, kes tegelevad igapäevaselt museaalide kirjeldamisega. Kirjeldatakse nii uusi sissetulevaid museaale, kui retrospektiivselt juba ammu muuseumikogusse võetud museaale. MuISi andmebaasi on jõutud kanda 3,7 miljoni museaali kirjeldused, millest üle 1 miljoni on varustatud kujutisega.
Päevas suudab üks inimene kirjeldada maksimaalselt 20-30 museaali. Näiteks 2019. aastal jõuti 60 muuseumis kirjeldada 214 000 museaali. Samas on kirjelduste kvaliteet ebaühtlane ja see raskendab kultuuripärandi laialdast kasutamist.
Digitaalarhiivi DIGAR lisandub aastas keskmiselt 1 milj. lehekülge digitaalset ainest. See sisaldab hulgaliselt pildimaterjali, mida hetkel pildi tasemel ei kirjeldata ja ei ole kasutajale seeläbi üldse kontekstist lähtuvalt otsitav.
Kuidas saab kratiga museaale kirjeldada?
Kratiprojekti jooksul testisid STACCi andmeteadlased mitmeid masinnägemise lahendusi muuseumide pildikogude peal, et leida mudelid, mida on antud kontekstis mõistlik rakendada. Masinnägemine on hetkel väga kiiresti arenev tehisintellekti valdkond, mis keskendub piltide analüüsile ja nendest kasuliku info eraldamisele. Masinnägemise meetodid võimaldavad pildikogudele läheneda erinevatest vaatenurkadest. Näiteks on võimalik automaatselt ära määrata ära pildi tüüp (kas tegemist on foto, maali, postkaardi, dokumendi või millegi muuga), tuvastada ära pildil leiduvad objektid, maastik ja inimesed ning lugeda välja pildil leiduvad tekstid. Enamasti tuleb iga nimetatud ülesande jaoks erinevat tehisintellekti mudelit kasutada. Kui kombineerida kokku hulk selliseid mudelid, ongi võimalik ehitada kratt, mis suudab väga mitmekülgselt muuseumide kogusid kirjeldada.
Folli ennustab objekte ja asukohti
Folli projekti käigus testiti erinevaid segmenteerimismudeleid. Segmenteerimismudel analüüsib pilti ja proovib ennustada pildi igale pikslile sobivat kategooriat (mida see piksel kujutab?). Seega aitab mudel määrata MIS on pildil ja KUS see asub. Joonisel 1 on näide segmenteerimismudeli tehtud ennustustest. On näha, et mudel suudab päris hästi ära tunda pildi põhielemendid: inimesed, taevas, hooned ja loodus. Siiski tuleb arvestada, et ka tehisintellekt on oma võimetelt piiratud ja võib teha vigu. Joonisel 2 on pilt Russalkast, kus kuju tiibade tõttu määrab tehisintellekt selle 59% tõenäosusega linnuks. Seetõttu on väga oluline, et inimesed tehisintellekti ennustusi hindavad ja tõlgendavad. Ilma järelkontrollita ei saa sellist tööd veel täielikult robotitele usaldada.
Folli klasterdab ja sorteerib
Folli projekti teiseks eksperimendiks oli piltide sorteerimine ja klasterdamine. Sorteerimismudelile anti ülesanne analüüsida korraga tervet pildikogu ja paigutada visuaalselt sarnased pildid ühte gruppi ning sarnased grupid lähestikku. Peale sorteerimist moodustas mudel kõikidest piltidest suure “pildipilve”. Tegemist on põneva viisiga, kuidas suuri pildikogusid visualiseerida ja kategoriseerida. Joonisel 3 on näide, kus Ajaloomuuseumi kogusid uurides on mudel kokku viinud pildid tsepeliinidest ja joonisel 4 grupp jõulukaartidega Digitaalarhiivi kogust. Kuna mudel ise otsustab, mida kokku sorteerida ja mida mitte, siis ei tea kunagi täpselt, millised pildiklastrid moodustavad. Huvitav näide on pildil 5, kus mudel on otsustanud kokku panna pildid suuskadest, aialippidest, hauakividest ja rivis seisvatest sõduritest. Tõenäoliselt leidis mudel, et kõigil nendel piltidel esinevad korduvad vertikaalsed elemendid (rivi).
Leheküljel http://folli.stacc.cloud/demo saab ise uurida ühte sellist pildipilve, kus on üle 250 000 pildi, mis on kokku kogutud erinevate muuseumite pildikogudest. Vaata, milliseid ühisjooni klastrites leiad?
Projekti õnnestumisele aitas palju kaasa pildilise pärandi ekspert Vahur Puik MTÜst Eesti Fotopärand, kes on Ajapaiga ühisloomeplatvormi eestvedaja. Ajapaiga eesmärk on rikastada ajaloolist pildiainest (ennekõike vanu fotosid) eri liiki lisainfoga. Lisaks MuISi andmetele saime analüüsides kasutada sadu tuhandeid Ajapaiga vabatahtlike kaastööliste poolt piltidele lisatud märgendeid.
Maailmas luuakse ca 2.5 kvintiljonit baiti andmeid päevas
Müra eristamine väärtuslikest andmetest ilma andmeteadlaste abita muutub üha raskemaks. STACC on aastate jooksul teinud edukaid koostööprojekte nii riigi- kui erasektoriga suurettevõtetest iduettevõteteni. Lahenduste otsimine probleemidele ja uute võimaluste leidmine väga erinevates valdkondades on meie andmeteadlaste kirg.
