5 Minutės
Žmonės dažnai murmėdami sau sprendžia problemas. Keista, kai taip elgiasi mašina, tačiau būtent tas keistumas gali tapti veiksmingu trumpuoju keliu link protingesnio dirbtinio intelekto.
Vidinis monologas — tylus nuolatinis komentavimas, kurį naudojame žingsniams pakartoti, prielaidoms patikrinti ar idėjoms palaikyti mintyje — yra žmogaus mąstymo kertinis elementas. Okinavos mokslo ir technologijų institute (OIST) dirbantys tyrėjai perėmė šią strategiją mašinoms. Jų darbas rodo, kad AI vidinės savęs kalbos derinimas su darbinės atminties architektūra leidžia modeliams mokytis lankščiau, generalizuoti turint mažiau duomenų ir daug geriau valdyti kelias užduotis nei tradicinės sistemos. Tai ypač aktualu mašininio mokymosi ir dirbtinio intelekto tyrimams.
Vidinis monologas ir darbinės atminties architektūra pagerina AI našumą daugiafunkciškumo ir sudėtingų šablonų generavimo užduotyse.
Kaip savęs murmėjimas tampa mokymosi įrankiu
Kaip išmokyti modelį „kalbėti“ pats su savimi? OIST komanda vidinius tarimus traktavo kaip trumpus, užduočiai orientuotus priminimus, kuriuos sistema kartoja apdorodama informaciją — juos galima įsivaizduoti kaip tyliai ištariamus priminimus arba vidinį kontrolinį sąrašą. Kai šie priminimai derinami su darbine atmintimi, sudaryta iš kelių laikinuosius „skylių“, sistema gali vienu metu laikyti kelis elementus ir manipuliuoti jais, kol vyksta veiksmų seka. Rezultatas: geresnis veikimas užduotims, reikalaujantiems laikyti ir transformuoti sekas, pavyzdžiui, sąrašų apvertimą arba sudėtingų šablonų rekonstravimą.
Tokia prieiga turi pragmatišką patrauklumą. Didelio masto modeliai dažnai reikalauja milžiniškų pažymėtų duomenų rinkinių, kad galėtų generalizuoti už mokymo pavyzdžių ribų. OIST eksperimentai siūlo alternatyvų kelią: architektūra ir sąveikos dinamika turi reikšmę. Kitaip tariant, kaip modelis mokomas interpretuoti ir sąveikauti su savo vidiniais signalais gali formuoti jo gebėjimą taikyti taisykles naujuose kontekstuose, mažinant priklausomybę nuo brute-force duomenų rinkimo.
„Mokymasis nėra vien tik apie sujungimus,“ sako dr. Jeffrey Queißer iš OIST Kognityvinės neurorobotikos tyrimų skyriaus. „Struktūruodami mokymą taip, kad sistema praktikuotų savisąveikas, mes pakeičiame pačio mokymosi dinamiką.“
Kodėl darbinė atmintis keičia gebėjimą generalizuoti
Darbinė atmintis, paprastai kalbant, yra mentalinė lenta, kurioje užsirašome tarpinės veiklos žingsnius ir laikome artimiausius tikslus. Mašinoms ji atlieka analogišką vaidmenį: saugo trumpalaikius žetonus arba tarpinio rezultatus, kuriuos algoritmai turi nurodyti, atnaujinti ir pakartotinai panaudoti. Tyrimai palygino skirtingus atminties dizainus ir nustatė, kad keli nepriklausomi „skylių“ mechanizmai — laikinos saugyklos, talpinančios atskirus informacijos gabalus — suteikia modeliams apčiuopiamą pranašumą sprendžiant daugiapakopes problemas.
Užduotys, reikalaujančios tvarkingo kelių elementų vienu metu manipuliavimo, atskleidžia paprastų rekursinių dizainų ribotumus. Kai AI turi apversti seką ar sugeneruoti daugiasluoksnį šabloną, jam reikia lygiagrečiai sekti kelias reikšmes ir užtikrinti jų patikimą atnaujinimą. Pridėjus vidinės kalbos tikslus — aiškius vidinius priminimus, kuriuos modelis mokomas generuoti ir konsultuotis — pasiekta didesnė tikslumo lyga ir spartesnis mokymosi greitis, ypač esant ribotam duomenų kiekiui.
Šio sprendimo elegancija slypi tame, kad vietoj modelio mastelio didinimo ir papildomų pavyzdžių tiekimo, dizaineriai gali tobulinti atminties mechanizmus ir integruoti struktūruotą vidinį signalą, kad išgautų daugiau gebėjimų iš mažesnio duomenų kiekio. Tai turi tiesioginių praktinių pasekmių taikymams, pavyzdžiui, robotikai, kur dideli pažymėtų duomenų rinkiniai yra brangūs ar nepraktiški rinkti.
Eksperimentinis kontekstas ir tolimesni žingsniai
Neural Computation paskelbti eksperimentai buvo suprojektuoti kaip kontroliuojamos algoritminės užduotys, skirtos tirti generalizaciją ir daugiafunkciškumą. Šios užduotys sąmoningai abstrahuotos, kad tyrėjai galėtų izoliuoti atminties ir savęs nukreiptos kalbos vaidmenis, tačiau komanda pripažįsta būtinybę pereiti prie netvarkingesnių realaus pasaulio sąlygų. Triukšmingi jutikliai, dalinė informacija ir kintantys tikslai yra kasdienybė buitinėms ar žemės ūkio robotikos platformoms; artimiausi tyrimai įtraukdami tokias sudėtingumas patikrins, ar vidinės kalbos ir darbinės atminties derinys išlaiko pranašumus realiose sąlygose.
Be inžinerijos, šis tyrimų kelias jungiasi su kognityvine neuro mokslu. Modeliuodami vidinį monologą ir trumpalaikį saugojimą mašinose, mokslininkai gali tikrinti hipotezes apie tai, kaip žmogaus smegenys koordinuoja mintis ir veiksmus. Tai dvikryptė sąveika: įžvalgos apie žmogaus kalbos internalizaciją ir pažinimo vystymąsi gali formuoti modelių architektūras, o mašinų eksperimentai gali atverti naujas biologinių tyrimų kryptis.
Eksperto įžvalga
„Tai racionali kryptis kuriant prisitaikančias sistemas,“ sako dr. Maya Patel, kognityvinės robotikos tyrėja, nesusijusi su minėtu tyrimu. „Mes reikalaujame, kad mašinos funkcionuotų dinamiškose aplinkose, tačiau retai suteikiame joms vidinį karkasą, kuriuo remiasi žmonės — gebėjimą repeticuoti, laikyti kelis tarpinio lygio tikslus, tyliai murmėti planą sau. Šių elementų derinys yra lengvas, interpretuojamas papildas prie mastelio didinimo ir parametrų plėtimo.“
OIST atliktas darbas nepretenduoja į akimirksninį kaitą, pakeičiantį didelius, duomenis vartojančius giluminius tinklus. Vietoj to jis atveria praktišką alternatyvą: nedideli mokymo ir atminties dizaino pakeitimai gali padaryti modelius atsparesnius, efektyvesnius ir labiau linkusius perkelti išmoktas procedūras į nepažįstamus uždavinius. Jei vidinis monologas padeda žmonėms mąstyti, jis gali padėti ir mašinoms — tyliai, žingsnis po žingsnio, mokantis daryti daugiau su mažiau.
Šaltinis: scitechdaily
Palikite komentarą