Programma FIRB “Futuro in ricerca”

della Associazione Precari della Ricerca Italiani (APRI)*

Introduzione. Più di un anno fa, con Decreto Direttoriale del 19 dicembre 2008, il MIUR decide di stanziare 50 milioni di euro per un programma denominato “Futuro in ricerca”  destinato a finanziare progetti di

Linea 1) dottori di ricerca (non strutturati, ovvero precari) di età non superiore ai 32 anni;

Linea 2) giovani docenti o ricercatori (strutturati) di età non superiore ai 38 anni.

La scadenza per la presentazione dei progetti era fissata al 27 febbraio 2009, e 180 giorni dopo (il 26 agosto) dovevano essere resi noti i risultati. Invece ancora oggi la valutazione non si è conclusa.

Dei ritardi si è parlato nei mesi di settembre e ottobre in vari quotidiani nazionali (Il Sole 24 Ore, Il Messaggero, La Repubblica, La Stampa) ed è stata presentata anche una interrogazione parlamentare.

Approfittiamo invece della pubblicazione dell’elenco ammessi alle audizioni per qualche conside-razione sul sistema di valutazione dei progetti.

Stato corrente del programma FIRB. La principale causa dei ritardi sembra sia il grande numero di domande presentate, sono 3792 divise più o meno equamente fra Linea 1 e Linea 2, circa quattro volte più numerose di quanto avessero previsto al Miur. Questo ha portato a rivedere i meccanismi con cui sarebbero stati valutati i progetti.

Vediamo in dettaglio questi meccanismi. La decisione dei progetti da finanziare avviene in due fasi: nella prima fase degli esperti danno un parere scientifico sui progetti e decidono quali ammettere alla seconda fase della valutazione: il colloquio. In seguito al colloquio, la commissione decide quali progetti ammettere al finanziamento.

Leggiamo nel bando (art. 1 comma 4) che:

La valutazione scientifica dei progetti, ai fini dell’eventuale finanziamento ministeriale, è effettuata separatamente per ciascuna linea di intervento da una specifica commissione di esperti anche di nazionalità non italiana, nominata dal Ministero su proposta della Commissione di cui all’art. 3 del Decreto Ministeriale n. 378/Ric. del 26 marzo 2004, sia mediante valutazione della documentazione presentata sia mediante apposite audizioni.

Quindi: la Commissione di cui all’art. 3, detta Commissione FIRB e nominata nel 2004, è incaricata di selezionare dei revisori anonimi, la cosiddetta Commissione di Esperti, i quali valuteranno i candidati in base alla documentazione inviata e tramite apposite audizioni.

Il problema è che la Commissione di Esperti che doveva valutare i progetti è stata nominata il 28 dicembre 2009, e lo stesso giorno è uscito il primo elenco degli ammessi alle audizioni.

È naturale chiedersi come sia possibile che in una mattinata siano stati valutati quasi 4000 progetti e decisi gli ammessi alle audizioni. A questa domanda risponde tempestivamente il MIUR:

La Commissione FIRB ha in effetti istruito le proposte progettuali, secondo quanto previsto dal regolamento FIRB, che le riporto in stralcio qui di seguito (art. 3, comma 1): “Il MIUR, nel rispetto delle disposizioni seguenti, cura l’istruttoria dei progetti di cui all’art. 1, comma 4, del presente decreto avvalendosi di una specifica commissione (di seguito denominata Com-missione) che, per gli aspetti di natura tecnico-scientifica delle iniziative acquisisce il parere, con onere a carico del FIRB, di esperti, anche internazionali, all’uopo nominati dal MIUR.” Ora, istruite le proposte progettuali ed acquisito il parere di esperti (referaggi), la Com-missione FIRB ha individuato gli ammessi alle audizioni, trasmettendo la documentazione (progetti e referaggi) alla Commissione incaricata (art. 1, comma 4 del bando) della valu-tazione scientifica complessiva “sia mediante valutazione della documentazione presentata sia mediante apposite audizioni”

Quindi, in poche parole, la Commissione di Esperti prevista dal bando si è limitata a prendere atto delle valutazioni (effettuate da altri) ed interverrà solamente nella seconda fase, ovvero al momento delle audizioni. Poiché di quasi 4000 progetti ne sono stati ammessi alle audizioni circa 200, ovvero poco più di quelli che verranno finanziati, il potere decisionale di questa fantomatica Commissione di Esperti è praticamente nulla (possiamo dire che in pratica alle audizioni parteciperanno quasi esclusivamente i vincitori dei fondi).

Ma allora chi ha valutato i progetti? Naturalmente i valutatori (referee) sono coperti da anonimato. Purtroppo non ci è dato sapere neanche quanti fossero e quali fossero i settori di loro competenza(ricordiamo che “Futuro in ricerca” copre tutti i campi dello scibile umano, servirebbe una commissione parecchio numerosa per comprendere veramente tutte le proposte progettuali). Su questo punto ho scritto al responsabile del MIUR quanto segue:

Gentile Sig. Mauro Massulli,

in questi giorni ho avuto modo di documentarmi e fare mente locale sullo svolgimento della valutazione dei FIRB “Futuro in ricerca”, e devo dire che sono sbalordito dalla mancanza di serietà del MIUR. Siccome la principale fonte di informazioni sono voci di corridoio (in totale assenza di note ufficiali del MIUR), e spesso si tratta di notizie contrastanti, vorrei porle qualche domanda per appurare se tali voci hanno un qualche fondamento.

1) Si dice che la commissione di valutazione si sia insediata e sia composta da 20 ricercatori italiani. Forse ho capito male ma credevo che la valutazione, per ragioni di trasparenza, dovesse essere affidata ad esperti stranieri. Qualche commento su questo punto?

2) Come è possibile che la valutazione sia affidata a 20 esperti? Vuol dire circa uno ogni area disciplinare (uno per fisica, uno per matematica, . . . )? Che valore ha una valutazione del genere, dove per ogni area c’è un solo signore che decide senza contraddittorio?

. . . [nda: seguono altre domande qui omesse]

Il fatto che 20 persone avessero valutato tutti i progetti è stato smentito categoricamente dal MIUR. In risposta, ho spiegato che non si tratta di una mia invenzione: Francesco Turini — membro della commissione Firb — in un’intervista sul Messaggero del 1 ottobre spiegava di aver inviato al Cineca a settembre un elenco di 60 nomi da cui estrarne 20 finali. Da questo ho dedotto che la commissione fosse di 20 persone. Risponde il Sig. Massulli:

Credo che l’articolo del Messaggero abbia creato, in perfetta buona fede, un po’ di confu-sione. Io non so cosa abbia detto esattamente Franco Turini [nda: si chiama Francesco, non Franco], ma in ogni caso la procedura di dettaglio ipotizzata nell’articolo è assolutamente irrealistica: 20 persone per quasi 4000 progetti!!! Posso comunque aggiungere che di quelle 60 persone (che comunque abbiamo interpellato, per verificare la loro disponibilità a valutare alcuni progetti) solo 4 si sono dichiarati effettivamente disponibili!!!

Che non ci sia un buon coordinamento fra Commissione FIRB e Il Messaggero è confermato da un recente articolo dove è riportato fra virgolette un commento del presidente della commissione FIRB Antonio Manzoli il quale dice che sono stati approvati 800 progetti, ossia quelli che hanno ottenuto il punteggio massimo o quasi (Valentina Arcovio, “Dal Prin ai Firb, tutti i lacci della burocrazia”). Questo è falso: sono stati ammessi alle audizioni solo quelli che hanno ottenuto il punteggio massimo, ossia 40 quarantesimi, senza nessun ‘quasi’. Lo stesso giornalista dice che: “Sarebbero infatti passati 204 progetti con un punteggio di 40/40, 200 con 39/40 e 400 con 38/40”. A parte l’uso del condizionale (che vuol dire sarebbero? Il presidente della Commissione non sa quanti progetti ha ammesso alla seconda fase?), da un rapido conteggio delle due liste di ammessi alle audizioni si vede che ne sono stati ammessi 204, e benché il voto non sia visibile è stato confermato da Massulli che solo i 40/40 sono stati ammessi.

A conferma del fatto che le valutazioni siano state fatte frettolosamente, riporto la risposta alla interrogazione parlamentare di Manuela Ghizzoni:

ALLEGATO 9

5-01870 Ghizzoni: Insediamento della Commissione esaminatrice delle richieste di accesso ai fondi del bando FIRB “Futuro in ricerca”.

. . .

In considerazione di quanto sopra, e preso atto dei ritardi operativi, connessi anche con il processo di riorganizzazione del Ministero, che ha avuto inizio nel marzo 2009 e si è concluso nello scorso mese di luglio, si sta provvedendo a porre in essere tutte le possibili iniziative che consentiranno di accelerare al massimo l’iter procedurale, e di giungere alla nomina degli esperti cui affidare la valutazione scientifica entro il corrente mese di ottobre, allo scopo di chiudere tale processo entro il prossimo mese di dicembre.

Cioè in poco più di un mese la Commissione di Esperti avrebbe dovuto valutare circa 4000 progetti. Poi sappiamo che in realtà tale commissione è stata nominata a fine dicembre, e chi abbia valutato i progetti non è dato sapere.

Qualche numero. A fronte di 3792 domande, sono stati ammessi alla seconda fase di valutazione (le audizioni) 204 progetti.

Nonostante le domande fossero equamente distribuite fra Linea 1 e Linea 2, cioè fra giovani ricerca-tori precari e meno giovani docenti di ruolo, da un primo scrutinio delle liste vediamo che i progetti in Linea 1 approvati sono 74 e quelli in Linea 2 sono 130, ovvero quasi il doppio!

Si consideri inoltre che l’idea iniziale era di istituire una sorta di “tenure track” per giovani dotto-ri di ricerca, e prevedesse soltanto la Linea 1. Doveva essere un modo per permettere ai giovani più brillanti di fare carriera in tempi rapidi, considerato che in media in Italia si diventa professori ordinari quasi in età pensionabile. Invece si è scelto di prediligere candidati meno giovani — alcuni sono professori ordinari e possono anche essere anagraficamente “giovani”, ma come carriera sono arrivati all’apice — snaturando lo spirito del concorso.

La beffa è che molti in Linea 1 hanno perso punti sul curriculum proprio perché troppo “giovani”, essendo neodottorati. Si possono leggere giudizi del tipo:

Given the young age of the PI, who is just in his second postdoc, it is not obvious how well he will be able to manage a project which is overall ambitious.

Il candidato cui si riferisce il giudizio compiva 33 anni a gennaio 2009, se fosse stato un mese più anziano non avrebbe potuto fare domanda. Ma come? Un programma per giovani ricercatori dove i giovani sono penalizzati perché hanno meno esperienza dei più “anziani”? E’ ovvio che se si confronta il cv di un neodottorato under 33 e quello di un ricercatore/docente under 39, il secondo ne esce vincitore (a meno di casi clamorosi). Ma così tanto valeva non fare per niente la Linea 1. Non sembra un confronto equo: sarebbe stato più corretto dividere i soldi a priori in Linea 1 e Linea 2 (diciamo 50 e 50) e poi fare valutazioni separate.

Una piccola nota positiva è che apparentemente il finanziamento è stato raddoppiato: sono stati ag-giunti altri 50 milioni di euro ai 50 milioni di partenza. Perché “apparentemente”? Il fatto è che l’idea originale era di fare un bando annuale, quindi semplicemente i 50 milioni di euro del bando “Futuro in ricerca 2009”, che non è mai stato pubblicato e mai esisterè, sono confluiti nel “Futuro in ricerca 2008”.

Invece che aumentare i fondi, si sono semplicemente dilatati i tempi.

Qualche commento sulle valutazioni. Ciascun progetto è stato letto e giudicato da un solo “esperto”, e il giudizio è insindacabile. Persino nelle riviste scientifiche in genere l’accettazione di un articolo dipende dal giudizio di due o tre referee(ad esempio, sono tre sulle riviste IOP, come Classical and Quantum Gravitye) ma qui non parliamo di accettare una pubblicazione bensì progetti da milioni di euro. E anche nelle riviste con un solo referee, il giudizio puo’ essere contestato e si può chiedere un secondo parere, non è mai “insindacabile”.

Tutti i progetti con meno di 40 (il voto è in 40esimi) sono stati bocciati, nonostante in molti casi i referee chiedessero esplicitamente di inserirli nella “best ranking list” dei progetti finanziabili. Viene da chiedersi se i referee sapessero che serviva un voto di 40/40 per essere ammessi alle audizioni.

Molti dei rapporti dei referee sono talmente vaghi che potrebbero tranquillamente essere stati scritti senza leggere i progetti. Molti progetti hanno avuto un giudizio standard (qualcosa del tipo: “ottimo progetto ma non abbiamo soldi a sufficienza”) vagamente positivo in modo da non indispettire i candi-dati, ma non abbastanza da essere finanziato. Soprattutto, non ci sono critiche o motivazioni chiare per i punti in meno. Non si può stabilire in base a cosa un progetto valga 38 piuttosto che 39 o 40.

Non solo è assurdo confrontare fra di loro voti dati da referee differenti: il 38 di un referee potrebbe corrispondere al 40 di un altro, visto che persone differenti (e provenienti da settori disciplinari diversi) possono utilizzare un diverso metro di giudizio. Ma addirittura non ammettere per un solo punto alle audizioni (quindi non al finanziamento, ma alla seconda fase della valutazione) sembra irragionevole. Per quale motivo un 39 al colloquio non potrebbe dimostrarsi più valido di un 40?

Da scienziato penso che si tratti di un metodo poco scientifico, è il commento sulle valutazioni di uno dei candidati. Un altro spiega che sarebbe stata accettabile, dato il numero elevato di doman-de, una preselezione anche sulla base di un singolo giudizio soltanto se il giudizio fosse stato negativo. Tutti i progetti con un primo giudizio positivo meritavano un secondo (e magari un terzo) referaggio.

Vediamo qualche esempio di valutazione preso da questo blog . Lorenzo dice:

Anche il mio progetto non è stato ammesso. [. . . ]

Final score 39

General Comment Strengths: Multi disciplinary and multifactorial approach, excellent ex-pertise of the research team. Average cost. Weakness: complexity of the experimental de-sign; results comparison between RU. Final recommendation: include in the best-proposal ranking list for the next evaluation stage.

Enrico Giovanni Ferro, ricercatore all’Università di Torino dice:

il mio progetto ha ricevuto 39/40 e ha un general comment che recita così: “Excellent project. Really. To be financed” . . . frase che dovrebbe essere la motivazione di esclusione!

L’unico punto tolto è sul curriculum vitae, naturalmente senza alcuna motivazione. Valerio dice:

Ciao ragazzi,

stessa situazione di Enrico, 39/40. tutti commenti positivi, elogi ed alla fine un “General comment” così: “The scientific impact of this research and the high quality of the partneship suggest to include the project in the category of highly fundable proposals.”
Ovviamente NON AMMESSO al finanziamento.

Alcuni dei commentatori hanno creato una mailing list (FIRB-subscribe@yahoogroups.com) per con-dividere opinioni e decidere se presentare un eventuale ricorso.

Per email Katrin Schroeder ci manda i rapporti di due progetti, il suo e quello di una collega dello stesso istituto (Tiziana Peluso) che hanno ricevuto due schede di valutazione identiche ma con punteggi differenti. L’unica differenza — dice — riguarda la tematica specifica del progetto (con parole prese dall’abstract). Il commento finale è uguale. In effetti le due schede sembrano fatte con il copia/incolla.

Daniele riferisce quanto segue:

Nei giorni scorsi ho avuto modo di parlare con un referee che mi ha parlato delle (nonché fatto leggere le) guidelines per i referees stessi. La commissione FIRB ha commesso un gravissimo errore, poiché nelle guidelines ha indicato un punteggio minimo di 38 perché un progetto potesse essere ammesso a una successiva fase di “collegial on-line agreement” che avrebbe portato alla composizione di un ranking. Questo passo è stato interpretato dai referees come l’indicazione di un punteggio minimo (38) per poter far avanzare un progetto a una fase successiva di valutazione. Cosa evidentemente non rispondente alla realtà.

Non è chiaro se questo sia vero, visto che purtroppo le linee guida ufficiali date ai referee sono coperte dal più assoluto segreto (sempre che esista un documento ufficiale). I progetti con più di 38 hanno effet-tivamente ricevuto giudizi finali che ne suggerivano il finanziamento. Inoltre secondo il responsabile MIUR le schede di valutazione dovrebbero contenere le “specifiche motivazioni di non ammissione”, mentre molti progetti esclusi hanno ricevuto giudizi pienamente positivi. Su questo punto Massulli comunica che:

I referee esprimono un parere scientifico. Non sono tenuti a dare suggerimenti alla Com-misisone FIRB o al MIUR, anche perché non sono tenuti a conoscere la disponibilità delle risorse. Nell’ambito delle risorse disponibili abbiamo potuto ammettere solo i 40/40.

Quindi i referee hanno dato un voto (in quarantesimi) e un giudizio (ammesso alla seconda fase di valutazione/escluso), e il MIUR ha deciso deliberatamente di prendere in considerazione il voto (che di per sé significa poco) e di ignorare la parte più importante che è il giudizio di ammissione/esclusione. Inoltre, nelle schede di valutazione non c’è alcun parere scientifico! Solo giudizi vaghi, che potrebbe dare anche chi non ha letto affatto i progetti.

Conclusione. Il Governo aveva investito molto in questo programma, sia in termini di immagine che finanziaria-mente (ricordiamo che, per quanto pochi, i fondi FIRB nel 2008 superavano quelli del finanziamento straordinario per il reclutamento dei ricercatori).

Purtroppo, senza nulla togliere ai progetti approvati, il modo con cui è stata effettuata la selezione è tutt’altro che soddisfacente (in realtà valutazioni e ritardi a parte, le critiche al regolamento FIRB sarebbero numerose).

Chiudiamo con l’aspetto più sorprendente di questa procedura di valutazione: la Commissione di Esperti che dovrebbe intervistare i candidati è composta da solo nove persone! Tre commissari per ciascuna macro-area tre per il settore SH (scienze sociali e umane), tre per il settore PE (matematica, fisica, scienze dell’informazione, ingegneria, scienze della terra, astronomia, chimica, informatica), e tre per il settore SL (biologia, biochimica, genetica, genomica, bioinformatica, fisiologia, endocrinologia, neuroscienze, biotecnologie).

Le persone scelte devono essere degli intellettuali eccezionali per riuscire a coprire in nove tutte le materie possibili.

<strong>Aggiornamento.Annunciato con decreto direttoriale aumento di 50mln per arrivare ad un totale di 100mln al lordo della quota dell’1% per le attivit di valutazione e monitoraggio (cf. art. 2 del bando). I soldi effettivamente investiti sono invece 45mln: dunque mancano 4.5mln dall’investimento iniziale, ed il raddoppio apparentemente era soltanto un bluff.

Ricordiamo comunque che il raddoppio era fittizio: i 50mln in più dovevano essere sottratti dai fondi FIRST, finanziati dal Governo Prodi. Gli stessi fondi da cui si dovraà attingere per i futuri FIRB.

Sui 55mln scomparsi ed altre incongruenze del FIRB è stata aperta un’altra interrogazione parlamen-tare (Melis-Ghizzoni, 5/02787 del il 21/04/2010). Il resoconto si può leggere qui.

Fra le discipline a nostro avviso sottofinanziate o addirittura assenti dai finanziamenti segnaliamo:

Matematica. Gli unici progetti di matematica finanziati sono:

• Giancarlo Sangalli, Dipartimento di Matematica, Mat/08 Analisi Numerica, Linea 2
• Filippo Bracci, Dipartimento di Matematica, MAT/03 Geometria, Linea 2
• Elena Tanfanì, Dipartimento di Economia e Metodi quantitativi (laurea e dottorato in Econo-mia), MAT/09 Ricerca Operativa, Linea 2
• Laura Maria Sangalli, Dipartimento di Matematica e Statistica, Mat/06 Probabilità e Statistica (laurea in economia, dottorato in statistica), Linea 1

Notiamo che: 1) l’unico progetto in Linea 1 ricade in effetti nell’ambito delle Scienze Statistiche (che solitamente è una facoltè distinta da Scienze MFN); 2) c’è una certa preferenza per la ma-tematica applicata (in effetti, piu’ economia e statistica che matematica in senso stretto); 3) sono presenti strane omonimie. . .

Storia: nessun finanziamento per M-STO/04 ed un solo finanziamento per M-STO/02, i due più grossi SSD di storia (soprattutto il primo, con quasi 800 strutturati, è uno dei più grossi SSD italiani).

* Articolo pubblicato in vista della giornata co-organizzata da iMille e dedicata a “Ricerca ed Università” che avrà luogo il 25 maggio, a Roma.iMille.org – Direttore Raoul Minetti