Kõige uudsem ja potentsiaalselt väga paljutõotav tugilahendus: Neuroadaptive Generative Modelling

Neuroadaptiivne modelleerimine taju kategooriatele vastavate piltide genereerimiseks

        

        Computer Predicts Your Thoughts, Creating Images Based on Your Brain Signals...

        Seni olevad aju-arvuti liidesed võimaldavad aktiivset ning pigem ühepoolset suhtlemist ja eelnevalt määratletud käskude komplekti täitmist, näiteks tähe sisestamine või kursori liigutamine. Kuid nad pole siiani suutnud ajusignaalide põhjal järeldada keerukamaid kavatsusi ega kohandada keerukamat väljundit.

        Helsingi ülikooli teadlased on välja töötanud tehnika, mille abil arvuti modelleerib visuaalset taju, jälgides inimese ajusignaale. 

        Nemad teatasid katsest, mis kinnitab paradigmat inimnäo piltide genereerimisel. Eksperimendis paluti osalejatel keskenduda taju kategooriatele, näiteks vanadele või noortele, samal ajal kui neile esitati arvutiga loodud fotorealistlikud näod, millel olid erinevad visuaalsed omadused. Nende piltidega seotud EEG-signaale kasutati seejärel tagasisidesignaalina, et uuendada kasutaja kavatsuste mudelit, millest genereeriti võistleva võrgu abil uusi pilte. 

       

• Teadlased panid sellele meetodile nime Neuroadaptiivne Generatiivne Modelleerimine.
• Arvuti teabe ja ajusignaalide esitus modelleeriti samaaegselt tehisintellekti meetoditega.
• Kokku osales 31 vabatahtlikku.
• Osalejatele näidati sadu tehisintellekti abil loodud pilte erineva välimusega inimestest, samal ajal kui nende EEG salvestati.
• Tehnika ei tunnista mõtteid, vaid reageerib pigem vaimse kategooriaga seotud seostele.Mõnes mõttes justkui üritaks arvuti ette kujutada, mida inimene mõtleb. Arvuti suudab toota täiesti uut teavet, näiteks väljamõeldud pilte, mida pole kunagi varem nähtud. Tehnika põhineb uudsel aju-arvuti liidesel.
• Osalejad hindasid arvuti loodud pilte ja need vastasid peaaegu ideaalselt funktsioonidele, millele osalejad mõtlesid.
• Katse täpsus oli 83 protsenti.

        See on esimene uuring kus kasutatakse neuroonset aktiivsust generatiivse arvutimudeli kohandamiseks ja uue teabe loomiseks, mis vastab inimese operaatori kavatsustele.

        Neuroadaptiivse generatiivse modelleerimise eeliseks on, et see võimaldab looduslike stiimulite poolt esile kutsutud reaktsioonide kaardistada (mapping) komplekssete tunnustega, mille on õppinud generatiivne mudel, kordamata samu stiimuleid ega nõudmata, et operaator täidaks kunstlikke kujutisi. Selle asemel esindavad stiimuleid varjatud vektorid ja masinõppe abil saab varjatud funktsiooniruumi abil värskendada operaatori kavatsust esindavat vektorit.

        Uuringu praktiline kasu. Esitatud meetod vajab täiendavat täiustamist, kuid on juba selge, et muude võimaluste kõrval pakub see suurepäraseid perspektiive raske puudega, näiteks pimekurtide või halvatuses oleva ning Locked-in sündroomiga (LIS) inimestega suhtlemiseks.

Allikad:

➦ Kangassalo, L., Spapé, M. & Ruotsalo, T. Neuroadaptive modelling for generating images matching perceptual categories. University of Helsinki. Nature. Sci Rep 10, 14719 (2020). https://doi.org/10.1038/s41598-020-71287-1