Nessuno

Il Policy Evaluation Lab è un laboratorio dedicato alla valutazione scientifica delle politiche pubbliche mediante l’impiego integrato di metodi economici, strumenti di intelligenza artificiale e tecniche avanzate di analisi dei dati e dei testi. Il corso guiderà gli studenti lungo le principali fasi di un progetto di valutazione: formulazione della domanda di ricerca, analisi dei meccanismi attraverso cui le politiche pubbliche producono i loro effetti, ricerca e selezione delle evidenze, estrazione e organizzazione dei dati, analisi della letteratura, interpretazione dei risultati e comunicazione delle implicazioni di policy.

Particolare attenzione sarà dedicata all’utilizzo rigoroso e verificabile dell’intelligenza artificiale generativa, dei motori di ricerca semantica, degli strumenti di elaborazione automatica dei documenti e delle metodologie di text mining e topic modelling. Le attività avranno natura prevalentemente applicata e saranno orientate alla realizzazione di un progetto di valutazione di una politica pubblica.

Il corso si propone di fornire agli studenti le conoscenze teoriche, metodologiche e operative necessarie per compiere analisi economiche di valutazione delle politiche pubbliche mediante metodologie avanzate di intelligenza artificiale.

Al termine del corso, lo studente sarà in grado di:

• comprendere i principi fondamentali della valutazione delle politiche pubbliche, distinguendo tra valutazione ex ante, valutazione in itinere, valutazione ex post, valutazione di processo e valutazione degli effetti;
• formulare domande di valutazione precise, verificabili e rilevanti dal punto di vista economico e sociale, identificando la politica esaminata, la popolazione interessata, gli interventi, i gruppi di confronto, gli outcome e il contesto istituzionale;
• ricostruire la teoria del cambiamento e i principali meccanismi causali attraverso i quali una politica pubblica può produrre effetti sui destinatari e sul sistema economico e sociale;
• utilizzare, con rigore scientifico e in modo corretto, consapevole e affidabile, strumenti di intelligenza artificiale generativa per la formulazione delle domande di ricerca, la costruzione delle strategie di ricerca, la classificazione dei documenti, l’estrazione delle informazioni e la sintesi delle evidenze;
• progettare ed eseguire strategie trasparenti e replicabili di ricerca della letteratura scientifica, applicando protocolli e criteri espliciti per l’identificazione, lo screening e la selezione degli studi;
• valutare criticamente l’affidabilità delle fonti, la qualità metodologica degli studi, la robustezza delle evidenze e la validità delle risposte generate dai sistemi di intelligenza artificiale;
• organizzare, pulire e analizzare corpora documentali e basi di dati bibliografici mediante tecniche di elaborazione automatica del linguaggio, analisi bibliometrica e topic modelling;
• applicare e interpretare modelli di Latent Dirichlet Allocation e Structural Topic Modeling per individuare temi latenti, gruppi di documenti, evoluzioni temporali, differenze tra contesti istituzionali e lacune della letteratura;
• integrare evidenze quantitative, qualitative e testuali per formulare conclusioni motivate sull’efficacia, l’efficienza, l’equità e la sostenibilità delle politiche pubbliche;
• comunicare i risultati della valutazione attraverso report scientifici, policy brief, tabelle, grafici, mappe concettuali e altre forme di visualizzazione;
• riconoscere e gestire i principali rischi connessi all’uso dell’intelligenza artificiale, tra cui errori fattuali, allucinazioni, opacità degli algoritmi, distorsioni nei dati, problemi di replicabilità, tutela della riservatezza, proprietà intellettuale e responsabilità scientifica.

Le competenze acquisite saranno immediatamente utilizzabili nel mercato del lavoro, in particolare nelle attività di consulenza economica e strategica, nelle amministrazioni pubbliche, nelle istituzioni nazionali e internazionali, nelle imprese, negli enti di ricerca, nelle organizzazioni del terzo settore e negli ambiti più propriamente scientifici e accademici.

Lezioni frontali ed esercitazioni, da svolgere sia in aula sia autonomamente, finalizzate all’applicazione pratica dei concetti e delle metodologie illustrate durante il corso. Gli studenti saranno inoltre impegnati nella realizzazione di un progetto individuale, che sarà impostato e sviluppato in aula e successivamente approfondito e perfezionato attraverso il lavoro autonomo.

L’esame consisterà nella predisposizione di un progetto individuale di valutazione di una politica pubblica. Il progetto sarà impostato durante le attività di laboratorio e successivamente sviluppato e perfezionato attraverso il lavoro autonomo dello studente.

Obiettivo dell’esame è accertare la capacità dello studente di progettare e sviluppare con rigore scientifico la valutazione di una politica pubblica, applicando correttamente le metodologie economiche e gli strumenti di intelligenza artificiale. In conformità con i descrittori di Dublino, saranno valutate la conoscenza dei contenuti, la capacità di applicarli a problemi concreti, l’autonomia nella scelta e nella valutazione delle fonti e dei metodi, l’interpretazione critica dei risultati, la chiarezza espositiva e la capacità di utilizzare autonomamente le competenze acquisite.

Lo studente, disabile e/o con DSA, che intende usufruire di un intervento individualizzato per lo svolgimento della prova d’esame deve contattare l'ufficio Integrazione Disabili dell'Università del Salento all'indirizzo paola.martino@unisalento.it"

Per gli appelli d’esame si rimanda alla pagina web: Calendario appelli

Modalità di prenotazione dell'esame

La prenotazione all'esame finale deve essere effettuata esclusivamente tramite il portale studenti.unisalento.it

Contatti del docente

E-mail: michele.giuranno@unisalento.it

1. Fondamenti e progettazione della valutazione delle politiche pubbliche

• Finalità e funzioni della valutazione delle politiche pubbliche.
• Politiche, programmi, interventi e progetti pubblici.
• Valutazione ex ante, in itinere ed ex post.
• Valutazione di processo, dei risultati e degli effetti.
• Criteri di efficacia, efficienza, equità, sostenibilità e rilevanza.
• Evidence-based policy ed evidence-informed policy.
• Identificazione del problema pubblico e degli obiettivi dell’intervento.
• Analisi dei meccanismi attraverso cui le politiche pubbliche producono i loro effetti.
• Individuazione dei destinatari, degli stakeholder e degli indicatori di risultato.
• Formulazione delle domande valutative e distinzione tra correlazione, previsione e causalità.

2. Intelligenza artificiale, metodo scientifico e prompt engineering

• Fondamenti dell’intelligenza artificiale generativa e dei Large Language Models.
• Applicazioni dell’IA alla valutazione delle politiche pubbliche.
• Interazione tra automazione e giudizio del ricercatore secondo il principio dello human-in-the-loop.
• Affidabilità, validazione e triangolazione delle informazioni.
• Differenza tra contenuti generati dall’IA ed evidenze scientificamente verificate.
• Struttura di un prompt efficace e applicazione della formula delle “4C”: contesto, comando, criteri e controllo.
• Prompt per la ricerca bibliografica, lo screening dei documenti e l’estrazione strutturata dei dati.
• Prompt iterativi, concatenazione dei compiti e verifica delle fonti.
• Documentazione trasparente e replicabile delle interazioni con i sistemi di IA.

3. Formulazione delle domande di ricerca e ricerca sistematica delle evidenze

• Caratteristiche delle domande descrittive, esplicative, predittive e causali.
• Applicazione del framework PICO(S) alla valutazione delle politiche pubbliche.
• Utilizzo dell’IA per precisare e delimitare la domanda di ricerca.
• Trasformazione di un problema di policy in un protocollo di ricerca.
• Consultazione di fonti scientifiche, statistiche e amministrative.
• Banche dati bibliografiche, motori di ricerca accademici, letteratura peer-reviewed e letteratura grigia.
• Costruzione delle stringhe di ricerca mediante operatori booleani, sinonimi e vocabolari controllati.
• Ricerca semantica e strategie assistite dall’IA.
• Predisposizione di un protocollo di revisione sistematica secondo le linee guida PRISMA.
• Definizione dei criteri di inclusione ed esclusione, deduplicazione e screening dei documenti.
• Trasparenza, tracciabilità e replicabilità delle decisioni di selezione.

4. Estrazione delle informazioni, valutazione della qualità e analisi bibliometrica

• Costruzione di griglie per l’estrazione delle caratteristiche e dei risultati degli studi.
• Estrazione assistita dall’IA da articoli scientifici e documenti in formato PDF.
• Utilizzo di strumenti quali Elicit, SciSpace, NotebookLM o piattaforme equivalenti.
• Gestione dei metadati e costruzione di dataset bibliografici e documentali.
• Verifica delle informazioni estratte rispetto alle fonti originali.
• Controllo degli errori, dei dati mancanti e delle incoerenze.
• Valutazione della validità interna ed esterna degli studi.
• Bias di selezione, misurazione e pubblicazione.
• Problemi di confondimento, identificazione causale, robustezza e replicabilità.
• Distinzione tra studi sperimentali, quasi-sperimentali, osservazionali e qualitativi.
• Analisi bibliometrica di citazioni, co-citazioni, parole chiave, autori, istituzioni e paesi.
• Clustering bibliometrico e analisi dell’evoluzione della letteratura.

5. Text mining, topic modelling e sintesi delle evidenze

• Costruzione e preparazione di un corpus documentale.
• Matrici documento-termine e rappresentazioni vettoriali dei testi.
• Scelta del numero di topic, diagnostica, coerenza semantica ed interpretazione dei temi.
• Fondamenti e applicazioni dello Structural Topic Modeling.
• Utilizzo di covariate documentali relative ad anno, paese, istituzione, metodologia e tipologia di politica.
• Analisi della prevalenza dei temi e della loro evoluzione temporale.
• Confronto tra gruppi di documenti e contesti istituzionali.
• Sintesi narrativa e strutturata delle evidenze.
• Identificazione di risultati convergenti o divergenti, tendenze emergenti e lacune della letteratura.
• Distinzione tra assenza di evidenza ed evidenza dell’assenza di effetti.

6. Comunicazione dei risultati, uso responsabile dell’IA e progetto finale

• Struttura di un rapporto di valutazione e di una revisione sistematica.
• Preparazione di executive summary e policy brief.
• Traduzione dei risultati scientifici in implicazioni e raccomandazioni di policy.
• Comunicazione dell’incertezza e distinzione tra risultati, interpretazioni e raccomandazioni.
• Creazione di tabelle, grafici, mappe concettuali, infografiche e graphical abstract.
• Utilizzo di strumenti di scrittura e visualizzazione assistiti dall’IA.
• Integrità scientifica, trasparenza, attribuzione delle fonti e responsabilità dell’autore.
• Allucinazioni, bias algoritmici, protezione dei dati, copyright e proprietà intellettuale.
• Documentazione dei prompt, degli strumenti utilizzati e delle verifiche effettuate.
• Realizzazione di un progetto individuale di valutazione di una politica pubblica, comprendente la formulazione della domanda, la ricerca e selezione delle evidenze, l’analisi dei dati o dei testi, l’interpretazione economica dei risultati e la presentazione delle implicazioni di policy.

L’impiego dell’intelligenza artificiale dovrà essere dichiarato e documentato. Gli studenti dovranno dimostrare di avere verificato le informazioni prodotte dagli strumenti utilizzati, motivato le principali scelte metodologiche e garantito la tracciabilità e la replicabilità del processo di analisi.

Nel corso delle lezioni saranno resi disponibili esercizi e dispense e saranno indicate le parti necessarie per la preparazione dell’esame. Lo studente può accedere al materiale didattico distribuito attraverso la piattaforma https://elearning.unisalento.it/ richiedendo una password di accesso al docente.