„Poate creierul să facă retropropagare?” – Geoffrey Hinton de la Google și Universitatea din Toronto
Despre discuție:
Învățarea profundă a avut mare succes pentru o varietate de sarcini perceptuale dificile. Acest lucru sugerează că căile senzoriale din creier ar putea folosi, de asemenea, propagarea înapoi pentru a se asigura că zonele corticale inferioare calculează caracteristici care sunt utile pentru zonele corticale superioare. Oamenii în neuroștiință nu au luat în serios această posibilitate, deoarece există atât de multe obiecții evidente: neuronii nu comunică numere reale; ieșirea unui neuron nu poate reprezenta atât o caracteristică a lumii, cât și derivata unei funcții de cost în raport cu producția neuronului; conexiunile de feedback la zonele corticale inferioare care sunt necesare pentru a comunica derivatele de eroare nu au aceleași ponderi ca și conexiunile feedforward; conexiunile de feedback nici nu merg la neuronii din care provin conexiunile feedforward; nu există o sursă evidentă de date etichetate. Voi descrie munca în comun cu Timothy Lillicrap privind modalitățile de a depăși aceste obiecții.
Sprijin pentru seria de seminare a Colocviului Stanford privind sistemele informatice oferite de Forumul de computere Stanford.
Rezumatul vorbitorului și biografia pot fi găsite aici:
http://ee380.stanford.edu/Abstracts/160427.html
Seria de seminarii Colocviul privind sistemele informatice (EE380) prezintă cercetările actuale în proiectarea, implementarea, analiza și utilizarea sistemelor informatice. Subiectele variază de la circuite integrate la sisteme de operare și limbaje de programare. Este gratuit și deschis publicului, cu prelegeri noi în fiecare săptămână.
Află mai multe: http://bit.ly/WinYX5
0:00 Introducere
0:48 Coborâre de gradient stocastică online
2:43 Patru motive pentru care creierul nu poate face backprop
5:20 Surse de supraveghere care permit învățarea backprop fără un semnal separat de supraveghere
8:18 Algoritmul trezire-somn (Hinton et. al. 1995)
12:15 Noi metode de învățare nesupravegheată
13:39 Concluzie despre semnalele de supraveghere
14:03 Pot neuronii să comunice valori reale?
16:16 Statisticile și creierul
18:39 Big data versus modele mari
23:32 Abandonul ca formă de mediere a modelului
24:53 Diferite tipuri de zgomot în activitățile ascunse
28:38 Cum sunt trimise derivatele înapoi?
30:18 O decizie de reprezentare fundamentală: derivatele temporale reprezintă derivate de eroare
32:24 O utilizare timpurie a ideii că derivatele temporale codifică derivate de eroare (Hinton & McClelland, 1988)
35:17 Combinarea STDP cu STDP invers
37:02 Dacă asta se întâmplă, ce ar trebui să vadă neurologii?
39:22 Ce realizează cele două pase de sus în jos
40:11 O modalitate de a codifica derivatele de eroare de nivel superior
48:28 O consecință a utilizării derivatelor temporale pentru a codifica derivatele de eroare
48:40 Următoarea problemă
50:18 Acum are loc o minune
56:44 De ce funcționează alinierea feedback-ului?
Cursuri interesante:
- Seminar Stanford – Cine deține viitorul, Jaron Lanier, Microsoft Research
- Stanford CS234: Învățare prin consolidare | Iarna 2019 | Cursul 3 – Evaluarea politicilor fără modele
- Seminar Stanford – Rețele definite de software la răscruce
- Machine Learning 3 – Generalizare, K-means | Stanford CS221: AI (toamna 2019)
- Seminar Stanford – Vorbire profundă: Creșterea recunoașterii vocale de la capăt la capăt
- Seminar Stanford – Programare concatenative: de la fildeș la metal
- Seminar de la Stanford: Chipsuri neuromorfice: abordarea provocării nanotranzistorilor
- Seminar de la Stanford: Conducere autonomă, am ajuns încă? – Tehnologie, afaceri, considerente juridice
- Seminar web Stanford – GPT-3 și mai departe
- Seminar Stanford – Analiza topologică a datelor: Cum a folosit Ayasdi TDA pentru a rezolva probleme complexe