Mokslininkai tobulina gilų mokymosi metodą neuroniniams tinklams

"Light to the world" Lithuanian subtitles (subtitrai lietuvių k.) (Birželis 2019).

Anonim

Nacionalinio branduolinio universiteto MEPhI (Rusija) kibernetinių informacinių sistemų instituto tyrėjai neseniai sukūrė naują mokomąjį modelį, skirtą ribotos Boltzmann mašinos (neuroniniam tinklui), kuris optimizuoja semantinio kodavimo, vizualizavimo ir duomenų atpažinimo procesus. Šio tyrimo rezultatai skelbiami žurnale Optical Memory and Neural Networks.

Šiandien gilesni neuroniniai tinklai su skirtingomis architektūromis, tokiais kaip konvoliuciniai, pasikartojantys ir autokonderio tinklai, tampa vis populiaresne mokslinių tyrimų sritimi. Daugybė aukštųjų technologijų kompanijų, įskaitant "Microsoft" ir "Google", naudoja gilius neuroninius tinklus, skirtus pažangių sistemų kūrimui.

Giliųjų mokymosi sistemose funkcijų atrankos ir konfigūravimo procesai yra automatizuoti, o tai reiškia, kad tinklai gali pasirinkti vieną iš efektyviausių algoritmų, skirtų hierarchinių savybių surinkimui. Giluminiam mokymui būdingas mokymasis naudojant didelius pavyzdžius naudojant vieną optimizavimo algoritmą. Tipiški optimizavimo algoritmai vienu metu sukonfigūruoja visų operacijų parametrus ir efektyviai įvertina kiekvieno neuroninio tinklo parametro įtaką klaidai taikant vadinamąjį metodą grįžtamojo ryšio.

"Neuronų tinklų gebėjimas mokytis savarankiškai yra vienas iš labiausiai įdomių savybių", - paaiškino Vladimiras Golovkas, Mefi instituto Cyber ​​Intelligence Systems profesorius. "Kaip biologinės sistemos, neuroniniai tinklai gali patys modeliauti, siekdami sukurti geriausią elgesio modelį".

2006 m. Neuronų tinklų mokymo sfera pasiekė proveržio, kai Geoffrey Hinton paskelbė mokslinių tyrimų apie neuroninius tinklus prieš parengiant. Jis teigė, kad daugiasluoksniai neuroniniai tinklai gali būti iš anksto apmokyti vienu metu treniruojant vieną sluoksnį ribotos Boltzmann mašinos pagalba, o vėliau juos tiksliai suderinant naudojant grįžtamąjį pasipriešinimą. Šie tinklai buvo pavadinti giliais įsitikinimų tinklais, arba DBN.

Golovkas analizavo pagrindinius giliosios mašinos mokymosi klausimus ir paradigmus ir pasiūlė naują mokymosi metodą ribotam "Boltzmann" mašinui. Tyrėjas įrodė, kad klasikinė šio neuroninio tinklo mokymo taisyklė yra konkretus jo sukurto metodo atvejis.

"Amerikos mokslininkai Minsky ir Papert kartą parodė, kad modelio klasifikavimo požiūriu vieno sluoksnio perceptronas su slenksčio aktyvinimo funkcija sudaro linijinį atskyrimo paviršių, kuris yra priežastis, dėl kurios ji negali išspręsti" išskirtinės ar "problemos", "Golovko pažymėta. "Tai sukėlė pesimistines išvadas apie tolesnę neuronų tinklų plėtrą. Tačiau paskutinis teiginys galioja tik vieno sluoksnio perceptronui su slenksčiu arba monotonine nuolatine aktyvavimo funkcija, pavyzdžiui, sigmoidės funkcija. Kai naudojamas signalo įjungimas funkcija, vieno sluoksnio perceptronas gali išspręsti "išimtinę" ar "problemą", nes ji gali padalinti zonų ir nulių į klases dviem tiesėmis ".

Tyrime taip pat nagrinėjamos giluminių neuroninių tinklų naudojimo galimybės suspaudžiant, vizualizuojant ir pripažindamos duomenis. Be to, Golovko taip pat pasiūlė naują požiūrį į semantinio kodavimo arba maišymo įgyvendinimą, pagrįstą gilių autoosaktyvių neuronų tinklų naudojimu.

Šis gilus mokymosi metodas gali būti labai naudingas paieškos variklių neuroninių tinklų mokymui, teigia autorius, nes jis pagerins atitinkamų vaizdų paieškos greitį.

Šios išvados turi didelę praktinę reikšmę: jos jau yra pritaikytos kompiuterio regos, kalbos atpažinimo ir bioinformatikos sferose.

menu
menu