Neuroteadlased õpetavad arvutit lugema sõnu otse inimeste ajust.
Ajakirjale Science kirjutanud Kelly Servick teatas sel nädalal kolmest paberist, mis postitati eelsalvestusserverisse bioRxiv ja milles kolm erinevat teadlaste meeskonda näitasid, et nad suudavad kõnet dekodeerida neuronite tulistamise salvestustest. Igas uuringus registreerisid otse ajule paigutatud elektroodid närvide aktiivsuse, samal ajal kui ajukirurgiaga patsiendid kuulasid kõnet või lugesid valjusti sõnu. Seejärel üritasid teadlased aru saada, mida patsiendid kuulsid või ütlesid. Mõlemal juhul suutsid teadlased muuta aju elektrilise aktiivsuse vähemalt mõnevõrra arusaadavaks helifailideks.
Esimene paber, mis postitati bioRxivisse 10. oktoobril 2018, kirjeldab eksperimenti, mille käigus teadlased esitasid ajuoperatsiooni keskel olnud epilepsiahaigetega kõne salvestused. (Katses tehtud närvisalvestised pidid olema väga detailsed, et neid tõlgendada. Ja see detailsusaste on saadaval ainult harvadel juhtudel, kui aju puutub kokku õhuga ja elektroodid asetatakse sellele otse, näiteks ajuoperatsioonide ajal) .)
Kui patsiendid kuulasid helifaile, salvestasid teadlased neuroneid, mis tulistasid patsiendi aju osades, mis töötlevad heli. Teadlased proovisid neuronaalsete tulistamisandmete kõneks muutmiseks mitmeid erinevaid meetodeid ja leidsid, et kõige paremini toimis "sügav õppimine" - milles arvuti üritab probleemi enam-vähem järelevalveta lahendada. Kui nad esitasid tulemusi 11-kuulajalisest rühmast inimhääli sünteesiva vokooderi kaudu, suutsid need isikud sõnu õigesti tõlgendada 75 protsenti ajast.
Selle katse heli saate kuulata siit.
Teine paber, mis postitati 27. novembril 2018, tugines ajukasvajate eemaldamiseks operatsioonil käivate inimeste närvisalvestustele. Kuna patsiendid lugesid ühesilbilisi sõnu valjuhäälselt, salvestasid teadlased nii osalejate suust väljuvaid helisid kui ka nende aju kõne tekitavates piirkondades vallandavaid neuroneid. Selle asemel, et iga patsiendi jaoks arvuteid sügavalt treenida, õpetasid need teadlased kunstlikku närvivõrku, et teisendada neuraalsalvestused heliks, näidates, et tulemused olid vähemalt mõistlikult arusaadavad ja sarnased mikrofonide tehtud salvestustega. (Selle katse heli on siin, kuid see tuleb alla laadida ZIP-failina.)
Kolmas, 9. augustil 2018 postitatud paber tugines ajuosa salvestamisele, mis teisendab konkreetsed sõnad, mida inimene otsustab rääkida, lihasliigutusteks. Kuigi selle katse kohta salvestisi veebis pole saadaval, teatasid teadlased, et nad suutsid rekonstrueerida terveid lauseid (ka epilepsiahaigetega tehtud ajuoperatsiooni ajal) ja et lauseid kuulanud inimesed suutsid neid korduvalt tõlgendada. test (10st valikust) 83 protsenti ajast. Selle katse meetod tugines üksikute silpide, mitte tervete sõnade moodustamisel kasutatavate mustrite tuvastamisele.
Kõigi nende katsete eesmärk on ühel päeval võimaldada inimestel, kes on kaotanud kõnevõime (amüotroofilise lateraalskleroosi või sarnaste seisundite tõttu), rääkida arvutist aju liidese kaudu. Kuid selle rakenduse jaoks pole veel teadust.
Inimese närviharjumuste tõlgendamine, kui kõne lihtsalt ette kujutatakse, on keerukam kui kõne kuulamise või produtseerimise mustri tõlgendamine, teatas Science. (Teise töö autorid väitsid siiski, et kõne kujutleva inimese ajutegevuse tõlgendamine võib olla võimalik.)
Samuti on oluline meeles pidada, et need on väikesed uuringud. Esimene paber tugines vaid viie patsiendi andmetele, teine vaatles kuut ja kolmas ainult kolme patsienti. Ja ükski neuraalsalvestustest ei kestnud üle tunni.
Sellegipoolest liigub teadus edasi ja otse aju külge haakunud kunstkõneseadmed tunduvad mingil hetkel maanteel reaalse võimalusena.
