Laurea Triennale in Matematica o Fisica 

il corso offre una prospettiva storica sul ruolo della matematica nella modellizazione della processazione d'informazione emergente in reti di neuroni (biologici o artificiali) in interazione, partendo dai primi modelli per l'emissione di un segnale elettrico dal singolo neurone per giungere alle moderne architetture del Deep Learning.

Il corso è diviso in tre sezioni principali:

1) La prima sezione serve ad assicurarci di condividere una conoscenza scientifica di base (pre-requisito ovviamente necessario per muovere insieme i primi passi verso un'intelaiatura matematica formale dell'Intelligenza Artificiale). In esterma sintesi si suppliranno allo studente rudimenti di Meccanica Statistica e di Processi Stocastici rivisitando insieme alcuni argomenti fondamentali (adattati per questo corso) di pertinenza canonica di queste due discipline.

2) La seconda sezione introduce invece modelli matematici di sistemi complessi (i “vetri di spin”), fondamentali per una successiva analisi matematica del funzionamento delle reti neurali, e sviluppa gli opportuni metodi matematici necessari alla loro descrizione ed alla comprensione della loro fenomenologia (i.e. la rottura spontanea di simmetria di replica di Parisi): si suppliranno allo studente tanto metodi euristici, di uso canonico in approcci di Fis02, e.g. “replica trick”, “message passage”, etc., quanto metodi rigorosi, di largo impiego in Mat07 & Mat06, e.g. “stochastic stability”, “cavity fields”, etc...

3) L'ultima e preponderante sezione è invece completamente dedita alle reti neurali: dopo una succinta descrizione (sempre in termini matematici) dei meccanismi cardine inerenti il neurone e la propagazione d'informazione tra neuroni (alla stregua della loro implementazione elettronica), si costruiranno “reti di neuroni” e se ne studieranno le proprietà emergenti (cioè non immediatamente deducibili guardando al comportamento del singolo neurone), persistendo in una prospettiva di meccanica statistica. Nello specifico, proveremo a vedere come queste reti siano in grado di apprendere ed astrarre guardando esempi suppliti dal mondo esterno e come, successivamente, queste usino quanto appreso per rispondere opportunamente, qualora stimolate, al mondo esterno. Capiremo inoltre come queste a volte possano sbagliare, e perché.

Il corso si chiuderà lambendo la frontiera della ricerca attuale nel campo dell'Intelligenza Artificiale ed, idealmente ed auspicabilmente, alla fine del corso lo studente dovrebbe essere in grado di poter proseguire autonomamente nell'approfondimento di tale disciplina. In particolare lo studente dovrebbe poter essere in grado, interagendo in team un domani, di essere complementare alle figure del computer-scientist e dell'ingegnere dell'informazione, interessandosi delle stesse tematiche di questi, ma offrendo una diversa prospettiva,
intrinsecamente più astratta e sintetica (a dire cioè dove la miriade di ricette di algoritmica che ogni giorno produciamo trovi una collocazione naturale) e per questo sempre più indispensabile nei gruppi di ricerca in AI.

Lo scopo del corso è condividere con lo studente i concetti salienti e, parimenti, fornire allo studente gli strumenti cardine, affinché questi possa continuare autonomamente la sua crescita culturale nell'ambito dell'Intelligenza Artificiale da una prospettiva prettamente formale: il presente corso non vuole essere un corso applicato di
“Machine Learning” (corso fruibile nelle Facoltà di Ingegneria da decadi) mentre brama essere un corso teorico di “Intelligenza Artificiale”.
L'ambizione ultima è riuscire a porsi domande sui principi primi di funzionamento dell'AI (traendo ispirazione da analogie con la processazione d'informazione in reti biologiche) e, ove possibile rispondere, capire come impostare il problema nel complesso all'interno di una cornice matematica consona.

Lezioni frontali

L'esame consta nel superamento di una prova orale

Da concordare con il docente (assolutamente malleabile su questo punto)

1. Richiami di Meccanica, Probabilità, Meccanica Statistica e Processi Stocastici
-Legge dei Grandi Numeri e Teoremi del Limite Centrale.
-Problema del Time-Reversal con esempi di PDE di interesse in Fisica (e.g. D'Alambert & Fourier).
-Il modello di Ehrenfest: analisi sia della statica che della dinamica, studio dell'entropia.
-L'approccio di Gibbs ed il metodo della “distribuzione piu' probabile”.
-L'approccio di Jaynes: una prospettiva del tutto inferenziale.
-Equivalenza (e non) tra le entropie di Gibbs e Shannon.
-La temperatura come rumore veloce: dal random walk all'equazione del calore.
-La master equation: Hamiltoniana come funzione di Lyapunov ed il Bilancio Dettagliato.
-L'inverse-problem nel caso più semplice (un sola specie di Curie-Weiss & via log-likelihood).

2. Fenomeni critici e transizioni di fase: verso i sistemi complessi                   

                          2.1: Metodi matematici per ricavare i diagrammi di fase
-Modello di Ising: approssimazione di campo medio, transizioni di fase e rotture di simmetrie.
-Proprietà degli stati puri: fattorizzazione delle funzioni di correlazione e clustering.
-Metodo del “punto di sella”, equazioni Dobrushin-Ruelle-Landford e disuguaglianze convesse.
-Metodo del campo di cavità ed analisi di Fourier.
                          2.2: Introduzione ai sistemi complessi
-misure quenched ed annealed, overlap e repliche.
-Ageing, rottura del time-translational-invariance e fenomenologia dei trap models.
-Spettro di una catena di Markov semplice e frustrata: rilassamento dei modi normali.
-Il modello di Sherrington-Kirkpatrick: analisi con “replica trick”, soluzione RS e crisi entropica.
-Analisi mediante “replica trick”: rottura di simmetria di replica di Parisi.
-Analisi mediante PDE: Hamilton-Jacobi, Burgers, Riemann-Hopf ed il trasporto ottimale.
-Analisi mediante “stochastic stability & cavity fields”: approccio à la Guerra.

3. Elementi di Intelligenza Artificiale: le reti neurali
-Il quadro storico nel quale è nata l'AI: tanti contributi da diverse discipline.
-La “cable theory” di Hodking-Huxley ed il neurone “integrate & fire” di Stein.
-Il neurone di McCulloch & Pitts: la meccanica statistica come logica rumorosa.
-Il riflesso condizionato di Pavlov mediante dinamica stocastica à la Glauber.
                        3.1: Dinamica neurale
-La memoria associativa e le reti neuronali: la proposta di Hebb.
-Il modello di Mattis, trasformazioni di gauge locali e storage di un bit di informazione.
-Il modello di Hopfield a basso carico con il metodo della log-constrained entropy.
-Il modello di Hopfield ad alto carico con il replica trick: Teoria di Amit-Gutfreund-Sompolinsky
-Il Perceptrone di Rosenblatt e la critica di Minsky&Papert.
-L'ottimizzatore NP di Hopfield-Tank (applicazione al commesso viaggiatore)
                       3.2: Dinamica sinaptica
-Apprendimento delle Boltzmann machines: scenario studente-allievo (supervised learning).
-Apprendimento delle Boltzmann machines: scenario non supervisionato (contrastive divergence).
-Equivalenza tra retrieval in reti di Hopfield e learning in macchine di Boltzmann.
-Apprendimento in reti dense: l'emergere del trade-off tra risoluzione e storage.
-Reti neurali che dormono e sognano: come distruggere gli stati di spin-glass
-Reti neurali gerarchiche e multi-tasking: robustezza metodologica alla volta della Biologia.

[Amit]          D.J. Amit, Modeling Brain Functions, Cambridge Press (1985).
[Barra]         A. Barra, Dispense specifiche per questo corso (2019).
[Coolen]      A.C.C. Coolen, R . Kuhn, P. Sollich, Theory of Neural Information Processing Systems, Oxford Press (2005).

[MacKay]    D.J.C. MacKay, Information theory, Inference and Learning Algorithms, Cambridge Press (2018).