Conoscenza del Calcolo delle Probabilità elementare. 

Teoria statistica dell'apprendimento caso peggiore e caso tipico. Apprendimento e ottimizzazione.  Fondamenti e metodi della meccanica statistica. I sistemi disordinati. Meccanica statistica per l'inferenza l'apprendimento automatico. Reti neurali, dalle neuroscienze computazionali all'intelligenza artificiale. Il modello di Hopfield. La prospettiva di Gardner: lo spazio dei pesi nelle reti neurali. Il percettrone, capacità e scenario insegnante/studente. Apprenimento Bayes-ottimo.  

Acquisire una conoscenza dei metodi teorici, euristici e rigorosi per lo studio delle reti neurali e altri modelli in apprendimento artificiale. 

Lezioni frontali + progetti di studio individualizzati. 

Esame orale.

Da concordare con il docente. 

Programma

I capitoli si riferiscono alle note del corso

 

Cap. 1

  Introduzione all'apprendimento statistico. Apprendimento Supervisionato, Non-supervisionato e con Rinforzo.   

  La maledizione della dimensione  

  La discesa di gradiente: tema e variazioni  

  Generalizzazione e overfitting 

  Bias e varianza: vecchia teoria e doppia discesa.  

  Teoria della convergenza uniforme, disuguaglianza di Hoeffding, dimensione di Vapkin, Lemma di Sauer. 

 

   Cap. 2:    

  Il percettrone e la   it Support Vector Machine 

  Classificazione binaria, Separabilità lineare.   

  L'algoritmo del percettrone, teorema di convergenza  

Classificazione Aleatoria; il teorema di Cover  

Il paradigma   it Teacher-Student   

La SVM e il Kernel.

 

   Cap. 4:

  Richiami di probabilità  

  Entropia e divergenza di Kullback-Leibler  

  Inferenza e apprendimento Bayesiani  

  Cenni di processi stocastici  

  Catene di Markov  

  Ergodicità, teorema di Perron-Frobenius e teorema H.  

 

   Cap. 5:   

 Introduzione alla Meccanica Statistica  

  Formulazione Hamiltoniana dell'equazione di Newton  

  Teorema di Liouville  

  Ensemble Microcanonico  

  il gas perfetto e l'integrale sferico in $n$ dimensioni  

  Entropia termodinamica e entropia statistica  

  La distribuzione di Boltzmann  

  Metodi importanti della MS:  metodo di Laplace, integrazione Gaussiana, rappresentazione di Fourier della funzione delta. 

 

   Cap. 6: 

 Il modello di Ising e i fenomeni collettivi  

  Soluzione esatta del modello di Curie-Weiss  

  Teoria di Landau e rottura di simmetria

 

   Cap. 7:

  Il disordine   it quenched   

  I vetri di spin e la loro transizione  

  Il modello di Sherrington-Kirkpatrick  

  Teorema di esistenza e auto-media dell'energia libera  

  Il metodo delle repliche  

  la soluzione 'replica simmetrica' (RS) del modello SK  

  Il metodo di interpolazione RS.

 

   Cap. 11:    

  La macchina di Boltzmann, la macchina di Boltzmann ristretta, il modello di Ising inverso.  

  Algoritmi di apprendimento

 

   Cap. 12:    

  Neuroni e sinapsi  

  Semplici modelli di neurone  

  La plasticit  à sinaptica

 

   Cap. 13:    

  Il modello di Hopfield in tutti i suoi stati  

  Memoria associativa  

  Soluzione esatta -ancorché non rigorosa- del modello. 

 

   Cap. 14:    

  Limite massimo di capacità  delle reti neurali: percettrone e reti ad attrattori  

  l'approccio di E. Gardner

  

Cap. 15: 

  Reti  feed-forward  percettroni a molti strati  

  esempi di architetture  

  Apprendimento di caratteristiche (features)  

  Limite di rete grassa: apprendimento pigro e regime di campo medio. 

Note del corso. A. Engel, C. Van den Broeck, Statistical Mechanics of Learning CUP (2004). S. J.D. Prince Understanding Deep Learning http://udlbook.com. D.J. Amit Modelling Brain Functions CUP (1989)