La Valutazione della Ricerca – La Relazione Finale

Michele Castellano
(28/06/2007)

 

 Scarica la versione PDF

Il CIVR (Comitato di Indirizzo per la Valutazione della Ricerca) ha pubblicato la sua Relazione Finale per il VTR 2001-2003 (Valutazione Triennale della Ricerca) che era una volta disponibile sul sito del CIVR.

Poichè il sito del CIVR è inopinatamente scomparso, con tutta la sua documentazione, che non sono ancora riuscito a trovare nel sito del MIUR, dove spero continui ad essere reso disponibile nella sua interezza, metto a disposizione di chi possa essere interessato tutti i Documenti Originali della Valutazione 2001-2003 sul mio sito personale, fino a che lo spazio a disposizione me lo permetterà

Una prima osservazione e’ che sarebbe ormai ora di far partire la Valutazione per il triennio successivo, se si vuole mantenere una cadenza adeguata a far diventare la Valutazione uno strumento veramente utilizzabile per dirigere l’intera politica della Ricerca in Italia. Purtroppo nulla sembra muoversi, ed anche l’iniziativa di questo governo, per tanti versi encomiabile, di creare una vera e propria Agenzia per la Valutazione, con compiti piu’ definiti ma diversi da quelli del CIVR, non aiuta certo a velocizzare l’operazione.
Torniamo pero’ a questo rapporto, che contiene, nelle sue 812 pagine, tutte le informazioni gia’ presentate nelle relazioni precedenti, di cui avevo gia’ scritto dei commenti, sia quella sugli enti di ricerca che quella sui Panel di Area. In aggiunta riporta molte piu’ tabelle comparative correlando i dati in modi diversi, i criteri di scelta dei “prodotti” utilizzati da ogni istituzione ed alcuni commenti del CIVR stesso. In particolare sono presentate le tabelle riassuntive per ogni istituzione, in modo da darne una visione globale. Non sono presenti invece ne’ direttamente ne’ indirettamente, come invece speravo, le valutazioni analitiche dei vari referee, ma sarebbe indubbiamente diventato un volume ingestibile. Mi chiedo pero’ se saranno mai resi disponibili almeno elettronicamente.
Tornando alla relazione finale, non ho intenzione di ripetere le osservazioni che ho fatto nei due precedenti articoli, se non per puntualizzare qualche aspetto che ora, con tutti i dati classificati completamente e con qualche giustificazione in piu’, e’ possibile approfondire meglio. In questo articolo vorrei pero’ cercare di dare un commento generale sulla situazione della ricerca in Italia, alla luce di questi risultati di valutazione.
Incomincio col ribadire un’osservazione della cui correttezza e validita’ mi sono vieppiu’ convinto: il numero di “prodotti” richiesti per la valutazione e’ troppo ridotto. Si tratta per lo piu’ di articoli su rivista, e la richiesta fatta dal CIVR e’ stata di 0.5 “prodotti” per “ricercatore Equivalente a Tempo Pieno” (ETP) per l’intero periodo di tre anni. Poiche’ un ETP corrisponde ad un ricercatore effettivo per gli Enti di Ricerca, ma a ben due docenti nel caso delle universita’, cio’ significa che per le universita’ stesse si richiede la presentazione di un lavoro scientifico per ogni quattro docenti per tre anni di attivita’. Una produttivita’ scandalosamente bassa, se fosse la totalita’ della ricerca prodotta, o una scelta dei lavori migliori (e non e’ sempre questo il caso, per altre ragioni) in presenza di una maggiore produzione. Ma la produzione totale di una istituzione e la sua qualita’, in altre parole la sua produttivita’ scientifica, e’ un elemento importante per la valutazione comparata, ed in questo modo sfugge completamente al controllo.
E’ vero che si trattava di un primo esercizio, e che il CIVR, con molto buon senso, ha cercato di rendelo realmente gestibile senza esagerare con richieste di quantita’ di materiale che non avrebbe poi potuto essere esaminato in tempi ragionevoli, ma rimane il fatto che in questo modo si privilegiano troppo le istituzioni a bassa o bassissima produttivita’. Una soluzione diversa andra’ trovata per il futuro, magari chiedendo la presentazione dell’elenco completo dei “prodotti” tra cui ogni struttura sceglie di sottoporre alla valutazione dettagliata una frazione predefinita.
Un aspettoche non mi aveva convinto a suo tempo era la suddivisione tra strutture di diversa grandezza, con classifiche separate. Indubbiamente non ha molto senso paragonare strutture che presentano 100 “prodotti” con strutture che ne presentano 1 o 2, ma la differenza e’ nella realta’, perche’ anche la quantita’ e’ un elemento di merito, e una struttura piccola non diventa ne’ migliore ne’ peggiore se viene comparata solo con altre piccole. Inoltre i criteri di separazione sono arbitrari, anche se sicuramente i parametri scelti dal CIVR avranno qualche logica, ma che e’ difficile da cogliere. Il dipendere dal numero di “prodotti” presentati, che e’ in fin dei conti lasciato alla liberta’ della istituzione di appartenenza, permette, per molti casi limite, di scegliere individualmente, ed opportunamente, la classe di assegnazione. Se questa volta la cosa e’ risultata inessenziale, potrebbe non esserlo piu’ quando dal risultato della valutazione e dal proprio rating dipenderanno i finanziamenti.
Tutto sommato, credo sia meglio trovare un criterio unico per confrontare tutte le strutture insieme, evitando magari situazioni, di cui vi e’ grande abbondanza questa volta, di presentazione di un solo “prodotto”. Meglio prendere atto che in casi del genere non vi e’ di fatto ricerca. I pochi casi in cui quel singolo “prodotto” risulta Eccellente e fa schizzare ai vertici del rating la struttura rappresentano un chiaro esempio dell’inadeguatezza del metodo, e sarebbe anche opportuno verificare “come” quel “prodotto” ha avuto origine in quella struttura.
Il gran numero di strutture “piccole” e’ indubbiamente un problema, ma con la presentazione, in questa Relazione, delle tabelle riassuntive per ogni istituzione diventa evidente un problema ben piu’ grosso, e cioe’ quello delle universita’ piccole o molto piccole.
Cerco di spiegarmi meglio. Per struttura si intende quella parte di una universita’ o ente di ricerca che afferisce ad una certa Area Scientifica, come puo’ essere Scienze Fisiche o Scienze Mediche. L’istituzione e’ invece l’universita’ o l’ente di ricerca che riunisce al suo interno diverse strutture. L’analisi per Area guardava solo alle strutture, e raccogliere i dati di tutte le strutture appartenenti ad una certa istituzione attraverso tutte le tabelle pubblicate precedentemente era fattibile ma complesso.
Ora questo dato viene fornito direttamente, assieme alle informazioni su come si sono comportate le istituzioni nella selezione dei “prodotti” da presentare.
Tralasciando per il momento gli enti di ricerca che, a parte il CNR, sono praticamente monotematici, le universita’ si dividono sostanzialmente in tre categorie.
Le grandi universita’, localizzate solitamente nelle grandi citta’ e di antica tradizione accademica. Presenti in praticamente tutte le Aree di Ricerca con strutture tra “grandi” e “medie” con qualche esempio di strutture “mega”, tipicamente in Scienze Mediche, e pochissime strutture “piccole”.
Le universita’ di media grandezza, in citta’ di provincia o seconde e terze universita’ nelle metropoli, anch’esse presenti in larga parte delle Aree di Ricerca, con strutture “medie”, ma con qualche “grande” e qualche “piccola”.
Vi sono poi le universita’ piccole, di cui diverse sono private, dislocate in piccoli capoluoghi di provincia ma anche nelle grandi citta’. La caratteristica che le distingue, e che piu’ mi ha colpito, e’ l’essere piccole in tutto quello di cui si occupano, che normalmente si estende su una ridotta frazione delle Aree di Ricerca. Solo molto raramente qualche struttura raggiunge il livello di “media” grandezza, a parte una singola eccezione in cui Scienze Mediche rappresenta un vero punto di riferimento a livello nazionale. Il numero di prodotti presentati non supera, nelle condizioni piu’ favorevoli, le pochissime unita’, mentre dall’analisi globale risultano presenti anche docenti in Aree in cui non si presenta alcun “prodotto”, visto il troppo basso valore di ETP.
In pratica, in queste universita’ non si svolge alcuna attivita’ di ricerca degna di questo nome, e probabilmente si limitano a sfornare laureati sul cui livello di preparazione ci sarebbe da preoccuparsi. Ci saranno sicuramente delle eccezioni, ma credo proprio che questa sia la situazione generale.
Diventa quindi evidente che il discorso che avevo fatto in un altro articolo, su Universita’ di massa e centri di eccellenza, sta gia’ trovando la sua applicazione pratica nella nostra societa’. E cio’ in assoluta mancanza di ogni riconoscimento ufficiale della differenza tra le varie universita’, poiche’ ogni laurea ha ufficialmente lo stesso valore, indipendentemente da dove sia stata presa. D’altra parte con la qualita’ dell’accoglienza degli studenti fuori sede che tipicamente hanno le nostre universita’, anche le piu’ prestigiose, e forse loro in particolare, non c’e’ da rammaricarsi se studenti di non elevate disponibilita’ finanziarie, o anche solo spaventati dalle difficolta’ oggettive, rinuncino ad andare a frequentare universita’ migliori ma lontane e si accontentino di quello che il clientelismo locale gli puo’ fornire vicino casa. Perche’ e’ spesso vero che queste piccole universita’ sono nate per soddisfare clientele sostanzialmente politiche, permettere la creazione di posti di lavoro a tutti i livelli, dai professori, alcuni dei quali del tutto improbabili, ai bidelli.
L’attuale Ministro Mussi ha dovuto intervenire, all’inizio della legislatura, per bloccare l’iter di approvazione di un altro paio di queste universita’ “prestigiose”.
Le universita’ sottoposte a questa valutazione sono state 77, che non e’ sicuramente un numero piccolo, anche se il numero di laureati in Italia rimane, in percentuale sugli abitanti, ancora inferiore a quella degli altri paesi occidentali.
Quello che pero’ deve preoccupare di piu’ e’ il livello di insegnamento che puo’ essere fornito da universita’ dove l’attivita’ di ricerca e’ sostanzialmente sconosciuta, nonostante sia formalmente annunciato che l’universita’ e’ la sede di elezione della ricerca scientifica. Credo sia ormai tempo di distinguere ufficialmente tra le diverse universita’, fornendo pero’ a quelle in cui la ricerca si e’ in condizioni di farla le risorse necessarie per un suo effettivo sviluppo, e per poter accogliere degnamente gli studenti che intendono frequentarle.
Da questa relazione e’ possibile anche sapere i criteri che ogni istituzione ha usato per selezionare i “prodotti” da inviare per la valutazione. Ovviamente, essendo la prima volta che un’operazione del genere veniva fatta, ci sono state differenze anche profonde nei criteri di scelta. A parte le differenze legate alle tradizioni delle varie Aree di Ricerca, come la pubblicazione di articoli su riviste internazionali in alcune Aree o di monografie in lingua italiana in altre, la differenziazione piu’ evidente e con il maggiore impatto sul rating finale e’ stata quella tra il presentare un panorama completo dell’attivita’ della struttura o solo i “prodotti” migliori, secondo criteri leggermente variabili da struttura a struttura. Questo perche’ il CIVR non ha dato indicazioni stringenti lasciando sostanzialmente la scelta alle varie sedi locali.
Se la valutazione continuera’ e i suoi risultati serviranno veramente per determinare almeno in parte i finanziamenti per la ricerca, e’ indubbio che le varie strutture si adegueranno e cercheranno di presentare i “prodotti” tali da massimizzare la resa in termini di rating finale.
In queste condizioni pero’ si rischiera’ che un 20% di buoni “prodotti” sara’ in grado di nascondere del tutto il restante 80%, che potrebbe anche non esserci o essere pura spazzatura.
Credo che il CIVR, o chi per lui, dovra’ stabilire criteri diversi e piu’ stringenti, altrimenti le graduatorie, che appena vengono presentate tendono ad essere l’elemento fondamentale, perche’ nessuno guarda piu’ ad altro, risulteranno poco indicative della vera realta’.
Esistono poi altri elementi inseriti nella valutazione che non entrano nella determinazione del rating, che e’ basato solo sul giudizio sui “prodotti”, che hanno sicuramente bisogno di una migliore messa a punto, anche perche’ il giudizio finale in base al quale una struttura viene comparata alle altre deve essere piu’ generale e tener conto anche di questi elementi.
Mi riferisco in particolare al grado di proprieta’ dei “prodotti” e alla mobilita’ internazionale dei ricercatori. Entrambi questi criteri presentano livelli di ambiguita’ molto elevati, e cosi’ come sono configurati non possono essere assunti come un valore oggettivo su cui basare una valutazione complessiva.
Il grado di proprieta’ ha dimostrato di avere una relazione inversa con la qualita’ dei “prodotti”. Cioe’ piu’ e’ alto il livello di proprieta’ di un prodotto, piu’ e’ probabile che sia di scarso valore. Questo e’ ampiamente comprensibile per il fatto che “prodotti” ottenuti in collaborazioni spesso internazionali sono tipicamente di qualita’ piu’ alta. D’altra parte e’ anche vero che un livello di proprieta’ basso puo’ semplicemente significare un contributo insignificante della struttura interessata. Quello del livello di proprieta’ e’ un parametro che ha dei significati, ma bisogna trovare il modo di usarlo meglio.
Lo stesso e’ per la mobilita’ internazionale dei ricercatori, anche se il limite di tre mesi di permanenza minima all’estero per essere considerata e’ un limite veramente arbitrario. Un alto valore di mobilita’ puo’ significare l’inserimento reale della struttura in una rete internazionale di ricerca, ma puo’ anche significare che la struttura in esame e’ una sede di comodo per i ricercatori interessati, che preferiscono passare il tempo da altre parti. Anche qui e’ necessario trovare un modo d’uso piu’ funzionale per questo parametro.

 Riassumendo estremamente in breve le mie osservazioni principali, che chi e’ interessato puo leggere interamente nell’apposita sezione del mio sito web, posso dire che la Valutazione della Ricerca per il periodo 2001-2003 e’ stata estremamente proficua. Ha dimostrato che una vera valutazione, sufficientemente oggettiva, puo’ essere ottenuta ed e’ quindi possibile gestire i finanziamenti alla ricerca in modo mirato, riconoscendo il merito e la qualita’, e non piu’ a pioggia o per spinte di interessi particolari.
Questo primo esercizio ha anche reso evidenti alcuni difetti e/o potenziali problemi che devono essere corretti nel futuro.
In particolare i criteri di formazione dei panel e la scelta dei referee devono essere i piu’ trasparente possibili, trovando poi il modo di “costringere” i vari panel ad evitare cordate per la difesa di interessi particolari al loro interno.
La valutazione dei “prodotti” inevitabilmente dipendera’ in modo sostanziale dalla scelta dei referee, che e’ fatta da ogni membro del panel. Forse un sistema meno arbitrario sarebbe auspicabile. I cosiddetti “criteri oggettivi”, come Impact Factor e Citation Index mi sembrano invece di scarsa utilita’, sia perche’ in realta’ non rappresentano una misura di qualita’, sia perche’ la loro utilita’ diminuira’ sempre piu’ quando si diffonderanno maggiormente e il gioco delle citazioni pilotate prendera’ il sopravvento.
Alcune delle nuove Aree di Ricerca introdotte dal CIVR mi sembrano poco rappresentative e poco significative. Un ripensamento e’ d’obbligo.
Il risultato di questo primo esercizio dimostra che vi sono moltissime universita’ estremamente piccole in termini di ricerca, al limite dell’inesistente. Questa osservazione dovrebbe gia’ servire a far ripensare il sistema universitario ed il suo legame con la ricerca.
La ridottissima attivita’ di ricerca applicata, gli scarsi contatti con l’industria, la mancanza quasi totale di ricerca industriale, problemi di cui si e’ sempre parlato, hanno ora una verifica diretta e quantitativa.
Lo spostamento dell’industria italiana verso settori a maggior valore aggiunto, l’utilizzo della ricerca scientifica per l’innovazione dei prodotti industriali, la maggiore qualificazione del personale sono i problemi principali che l’economia italiana si trova ad affrontare nei prossimi anni.
La Valutazione della Ricerca puo’ aiutare anche in questo.

Torna a : Scienza, Home Page