Cercetătorii au identificat cea mai rapidă metodă de învățare

Un nou tip de rețea neuronală (neurală) realizată cu memristori poate îmbunătăți eficența mașinilor de predare pentru a gândi ca și oameni, potrivit ScienceDaily.

Rețeaua, numită sistem de calcul pentru rezervoare, ar putea prezice cuvinte înainte de a le spune în timpul conversației și va ajuta la prezicerea unor rezultate viitoare bazate pe prezent.

Echipa de cercetare care a creat sistemul de calcul al rezervoarelor, condusă de Wei Lu, profesor de inginerie electrică și informatică la Universitatea din Michigan, și-a publicat recent activitatea în Nature Communications .

Sistemele computerizate de rezervoare, care îmbunătățesc capacitatea unei rețele neuronice tipice și reduc timpul de instruire necesar, au fost create în trecut cu componente optice mai mari. Cu toate acestea, grupul UM și-a creat sistemul folosind memristori, care necesită mai puțin spațiu și pot fi integrați mai ușor în electronice existente pe bază de siliciu.

Memristorii sunt un tip special de dispozitiv rezistiv care poate efectua atât logica, cât și stocarea datelor. Acest lucru contrastează cu sistemele informatice tipice, unde procesoarele efectuează o logică separată de modulele de memorie. În acest studiu, echipa lui Lu a folosit un memristor special care memorează evenimente doar în istoria apropiată.

Inspirat de creier, rețelele neuronale sunt compuse din neuroni sau noduri și sinapse, legăturile dintre noduri.

Pentru a instrui o rețea neuronală pentru o sarcină, o astfel de rețea ia un set mare de întrebări și răspunsuri la aceste întrebări. În acest proces de învățare supravegheată, conexiunile dintre noduri sunt ponderate mai greu sau ușor pentru a minimiza cantitatea de eroare în obținerea răspunsului corect.

După ce a fost instruit, o rețea neurală poate fi apoi testată fără să știe răspunsul. De exemplu, un sistem poate procesa o nouă fotografie și poate identifica corect o față umană, deoarece a învățat caracteristicile fețelor umane de la alte fotografii din setul său de antrenament.

„De multe ori este nevoie de zile sau de luni pentru a instrui o rețea”, a spus Lu.

Recunoașterea imaginii este, de asemenea, o problemă relativ simplă, deoarece nu necesită informații în afară de o imagine statică. Sarcinile mai complexe, cum ar fi recunoașterea vorbirii, pot depinde foarte mult de context și necesită rețele neuronale să aibă cunoștințe despre ceea ce tocmai a avut loc sau despre ceea ce tocmai s-a spus.

„Atunci când transcri vorbirea în text sau traduci, semnificația unui cuvânt și chiar pronunțarea vor diferi în funcție de silabele anterioare”, a spus Lu. „Acest lucru necesită o rețea neurală recurentă, care include buclele din rețea care dau acesteia un efect de memorie. Cu toate acestea, formarea acestor retele neuronale recurente este deosebit de costisitoare”.

Cu toate acestea, sistemele de calcul ale rezervoarelor construite cu memristori pot sări peste partea costisitoare a procesului de instruire și să ofere în același timp rețelei capacitatea de a-și aminti. Acest lucru se datorează faptului că cea mai importantă componentă a sistemului – rezervorul – nu necesită instruire.

Atunci când un set de date este introdus în rezervor, acesta identifică caracteristicile importante legate de timp ale datelor și le detașează într-un format mai simplu într-o a doua rețea. Această a doua rețea are nevoie doar de instruire, cum ar fi pentru rețele neuronale mai simple, schimbând ponderile caracteristicilor și a ieșirilor pe care prima rețea le-a transmis până la atingerea unui nivel acceptabil de eroare.

„Frumusețea calculatorului de rezervoare este că în timp ce îl proiectăm, nu trebuie să-l antrenăm”, a spus Lu.

Echipa a dovedit conceptul de calcul al rezervorului folosind un test de recunoaștere al scrierii de mână, un punct de referință comun printre rețelele neuronale. Numerele au fost sparte în rânduri de pixeli și introduse în computer cu tensiuni precum codul Morse, cu zero volți pentru un pixel închis și puțin peste un volt pentru un pixel alb.

Folosind doar 88 de memristori ca noduri pentru identificarea versiunilor scrise de mână, comparativ cu o rețea convențională care ar necesita mii de noduri pentru sarcină, rezervorul a obținut 91% precizie.

Sistemele de calcul a rezervoarelor sunt în mod special abilitate la manipularea datelor care variază în timp, ca un flux de date sau cuvinte sau o funcție care depinde de rezultatele anterioare.

Pentru a demonstra acest lucru, echipa a testat o funcție complexă care depindea de rezultate multiple din trecut, lucru obișnuit în domeniile de inginerie. Sistemul de calcul al rezervoarelor a fost capabil să modeleze funcția complexă cu erori minime.

Lu intenționează să exploreze două căi viitoare cu această cercetare: recunoașterea vorbirii și analiza predictivă, scrie ScienceDaily.

„Putem face predicții pe limbajul natural vorbit, așa că nici măcar nu trebuie să spui cuvântul complet”, a spus Lu. „De fapt, am putea anticipa ce intenționați să spuneți în continuare.”

În analiza predictivă, Lu speră să utilizeze sistemul pentru a recepționa semnale cu zgomot, cum ar fi staticul de la posturile de radio de la distanță, și să producă un flux mai curat de date.