Statisztikai tanulás az idegrendszerben

ELTE TTK, Fizikai Kémia Tanszék


2014/15. tavasz

Időpont: hétfő, 16:00-18:00
Neptun-kód: mv2n9044
Helyszín: ELTE Lágymányosi kampusz, Déli Tömb, 1-820 Hajós György terem

Tematika

  • feb. 9: Bevezetés - Bányai Mihály
  • feb. 16: Valószínűségi modellek I. - BM
  • feb. 23: Valószínűségi modellek II. Inferencia. - Nagy Dávid
  • márc. 2: Bayesi viselkedés - Gáspár Merse Előd
  • márc. 9: Valószínűségi modellek III. Mintavételezés.- GME
  • márc. 16: Prior eloszlások azonosítása - Orbán Gergő
  • márc. 23: Valószínűségek neurális reprezentációja - GME
  • márc. 30: Valószínűségi modellek IV. Paraméterbecslés - BM
  • ápr. 13: Látórendszer bayesi modellezése I. - OG
  • ápr. 120: Látórendszer bayesi modellezése II. - BM
  • ápr. 27: Magasabbrendű látási funkciók modelljei - OG
  • máj. 4: Struktúratanulás - ND


2013/14. tavasz

Időpont: hétfő, 16:00-18:00
Helyszín: Északi Tömb 2.54 Novobátzky Károly terem
Ajánljuk mindazoknak, akiket érdekel az agy adaptív funkcióinak matematikai vizsgálata, és rendelkeznek előismeretekkel analízis, algebra és valószínűségszámítás terén.

Tematika

  • feb. 10: Bevezetés: tanulás állatmodelljei, Hebb-szabály, tanulás formái (Orbán Gergő)
  • feb. 17: Tanulási szabályok: kovariancia, BCM, Oja, szinaptikus normalizáció, időzítésalapú (Somogyvári Zoltán az előadások fóliái itt )
  • feb. 24: Nem felügyelt tanulás, főkomponens-projekció (SZ)
  • márc. 3: Determinisztikus neurális hálózatok, perceptron, hibavisszaterjesztéses tanulás, Hopfield-hálózat (SZ)
  • márc. 10: Sztochasztikus modellek: mintavételezés, következtetés, Boltzmann-gép, sűrűségbecslés (Bányai Mihály)
  • márc. 17: Látens változós modellek, lineáris-Gauss modellek, PPCA, faktoranalízis, grafikus modellek, paraméterbecslések (BM)
  • márc. 24: Keverékmodellek, Gaussok keveréke; EM-algoritmus, tanulás Boltzmann-géppel (BM)
  • márc 31: Függetlenkomponens-analízis, Olshausen-Field modell (OG)
  • ápr. 7: Helmholtz-gép, sleep-wake algoritmus, RBM, contrastive divergence algoritmus (OG)
  • ápr. 14: Deep network modellek, vizuális hierarchia, struktúratanulás (BM, slideok itt)
  • ápr. 21: tavaszi szünet
  • ápr. 28: Bayesian brain (OG)
  • máj. 5: Döntéshozatal, hasznosságfüggvények, stratégiatanulás, megerősítéses tanulás,temporal difference algoritmus (SZ)

Anyagok az ötödik előadáshoz
C. M. Bishop: Pattern Recognition and Machine Learning (a 12. fejezet hiányzik a pdf-ből)
2. fejezet: bevezetés a valószínűségszűmításba
11. fejezet: mintavételezés
David MacKay előadássorozata, a 12. rész a mintavételezésről szól
Joshua Tenenbaum előadása arról, hogy az emberi tapasztalatszerzés hogyan értelmezhető valószínűségi modellek illesztéseként

Anyagok a hatodik előadáshoz
C. M. Bishop: Pattern Recognition and Machine Learning
8. fejezet: grafikus modellek, inferencia
13. fejezet: szekvenciális lineáris-Gauss modellek
Zoubin Ghahramani, Sam Roweis: A unifying review of linear Gaussian models
Scholarpedia cikk a Boltzmann-gépekről
Geoffrey Hinton előadássorozata a Boltzmann-gépekről

Anyagok a hetedik előadáshoz
C. M. Bishop: Pattern Recognition and Machine Learning
9. fejezet: keverékmodellek és EM-algoritmus
Geoffrey Hinton előadása a Boltzmann-gépek tanulásáról



2012/13. tavasz

Tematika

  • feb. 11: Bevezetés (Orbán Gergő), slideok itt
  • feb. 18: Perceptron, előrecsatolt hálózatok (Somogyvári Zoltán), slideok az első négy előadáshoz itt
  • feb. 25: Rekurrens hálózatok, a Hopfield hálózat (SZ)
  • márc. 4: Rejtett változós modellek (SZ)
  • márc. 11: Valószínűségi eloszlások neurális reprezentációja (Bányai Mihály)
  • márc. 18: Reprezentációs tanulás (SZ)
  • márc. 25: Boltzmann-gépek (BM) slideok itt
  • ápr. 1: tavaszi szünet
  • ápr. 8: Kauzális modellek paramétereinek becslése (BM) slideok itt
  • ápr. 15: Modellösszehasonlítás, struktúratanulás (BM) slideok itt
  • ápr. 22: PCA, ICA, divisive normalisation algoritmus (OG), slideok itt
  • ápr. 29: Bayes-hálók, a Helmholtz-gép (OG), slideok itt
  • máj. 6: Deep Belief Networks, contrastive divergence algoritmus (OG), slideok itt
  • máj. 13: Eloszlások becslése mintavételezéssel (OG), slideok itt

Geoffrey Hinton előadása a képek és címkék együttes eloszlását tanuló DBM-ről
Webes példaprogram k-means klaszterezéshez
Egyszerűen használható szoftver és tutorial variational message passing eloszlásbecsléshez grafikus modelleken



2011/12. tavasz


  • febr. 20: Bevezetés: computational neuroscience-machine learning kölcsönhatások, tanulás fogalma és alapproblémái, modellek kettős dinamikája, az idegrendszer felépítése, McCulloch-Pitts neuron, rátaneuron (Bányai Mihály)
  • febr. 27: Adatok: mérési technikák, mérhető mennyiségek, elemzési módszerek (jelfeldolgozás, információelmélet), viselkedési adatok, data-driven vs. concept-driven modelling (BM)
  • márc. 5: Generatív modellek: statisztikai leírás (Bayesian probability), tanulás komplexitási szintjei, megfigyelt és rejtett változó, paraméter, modellstruktúrák (BM)
  • márc. 12: A Bayes-következtetés technikája, modellkiválasztás, expectation maximization, filtering, learning (BM)
  • márc. 19: Az agy és a Bayes-szabály: Bayesian brain, optikai csalódások, akció-percepció-csatolás, free-energy principles (BM)
  • márc. 26: Klasszikus tanulóhálózatok: perceptron, többrétegű perceptron, hibavisszaterjesztéses tanulás (Somogyvári Zoltán)
  • épr. 16: Rekurrens hálózatok, Hopfield-modell, Boltzman-gép, liquid state machine (SZ)
  • ápr. 23: Megerősítéses tanulás, Adaptive Dynamic Programming (SZ)
  • ápr. 30: Reprezentáció, emlékezés és következtetés az idegrendszerben: tanulás-előhívás dinamikája, szenzorikus integráció, parametrikus és nemparametrikus reprezentációk (SZ)
  • máj. 7: Cikkfeldolgozás: a retinális receptív mezők Olshausen-modellje (BM)
  • máj. 14: Cikkfeldolgozás: Bayesiánus reprezentáció az agyban Lengyel, Orbán, Berkes és Fiser munkái alapján (SZ)

Ajánlott irodalom:
Christopher M. Bishop: Pattern Recognition and Machine Learning
Peter Dayan, Larry Abbott: Theoretical Neuroscience
Zoubin Ghahramani: Unsupervised Learning