La Relazione del Comitato di Indirizzo per la Valutazione della Ricerca
Michele Castellano
(20/02/2006)
Scarica la versione PDF
E’ stata finalmente resa pubblica la Relazione del CIVR (Comitato per l’Indirizzo della Valutazione della Ricerca) per il periodo 2001-2003.
Poichè il sito del CIVR è inopinatamente scomparso, con tutta la sua documentazione, che non sono ancora riuscito a trovare nel sito del MIUR, dove spero continui ad essere reso disponibile nella sua interezza, metto a disposizione di chi possa essere interessato tutti i Documenti Originali della Valutazione 2001-2003 sul mio sito personale, fino a che lo spazio a disposizione me lo permetterà
Un’analisi attenta del documento, piu’ di 250 pagine solo la relazione finale, oltre alle relazioni dei Panel di Area, richiedera’ del tempo, tenendo conto della necessita’ di incrociare i dati con la relazione precedente e verificare le corrispondenze con i dati internazionali.
Ma qualche considerazione interessante puo’ gia’ essere tratta anche da una prima lettura del documento, e per ora mi limito alla Relazione del CIVR, perche’ per i Panel di Area mi e’ necessario piu’ tempo (ora potete trovare anche il mio commento alla Relazione sui Panel di Area e alla Relazione Finale).
Va prima di tutto osservato che si tratta di uno sforzo notevole, in atto da diversi anni, per dotare anche l’Italia di uno strumento per la valutazione della qualita’ della ricerca e della sua corrispondenza agli obiettivi dati. Un passo assolutamente necessario per eliminare anche il dubbio di una sostanziale autoreferenzialita’ della ricerca stessa, ma di difficile equilibrio per non introdurre un eccesso di dirigismo e controllo politico in un mondo in cui sarebbe esclusivamente origine di inefficienza e clientelismo.
E’ ovvio che vi e’ una certa arbitrarieta’ nella scelta del Comitato stesso, e nella composizione dei Panel di Area, scelta che puo’ in un certo qual modo influenzare la valutazione finale. Questo e’ un fatto che e’ oggettivamente difficile, e forse impossibile, eliminare del tutto, e che si puo’ solo ridurre a sufficienza. E qualcosa di piu’ credo si possa fare.
In ogni caso il Comitato ha cercato di imporre dei criteri il piu’ oggettivi possibile per la valutazione comparata, criteri accettati a livello internazionale, e cercato di eliminare il piu’ possibile l’autogiustificazione, chiedendo la formazione di Comitati di Valutazione, per ogni ente, composti da persone esterne ed internazionalmente riconosciute. Uno sforzo che, partito nel 2000, e’ ora ad un buon punto, anche se rimane qualche difficolta’ da superare.
Uno dei problemi da affrontare e’ che sono gli stessi criteri ad essere in certe situazioni non perfettamente adatti ad un giudizio globale comparativo, anche se al momento non se ne conoscono altri, e forse qualche correzione alla loro applicazione sara’ necessaria. Nella mia esposizione dei risultati di questa tornata di valutazione degli enti pubblici di ricerca, vorrei cominciare proprio con le mie personali osservazioni sui punti deboli dei criteri usati.
Incomincio dall’Impact Factor delle riviste su cui gli articoli scientifici vengono pubblicati e dall’uso che di questo parametro ne viene fatto nella valutazione. L’Impact Factor (IF), come da definizione, misura sostanzialmente la diffusione di una rivista, cioe’ la quantita’ di lettori che ha. Una rivista multidisciplinare ha ovviamente piu’ lettori di una rivista specifica, e a quindi un IF maggiore. Questo implica che alcune riviste, come Science e Nature, che tendenzialmente accettano articoli su un largo spettro di discipline, hanno moltissimi lettori, e quindi un altissimo IF. Solo che alcune discipline, come ad esempio la fisica, non usano queste riviste per le loro pubblicazioni migliori, perche’ si rivolgono a riviste specializzate nei diversi settori della fisica. Science e Nature tipicamente accolgono pochissimi articoli di fisica e tipicamente interdisciplinari. La differenza di IF e’ pero’ abissale, per cui un normale articolo, per esempio di biologia, tipica materia di queste riviste “globali”, pubblicata da Nature ha un IF piu’ di 10 volte maggiore di un articolo fondamentale di fisica pubblicato sulla piu’ prestigiosa rivista della disciplina.
Niente di male, finche’ le due pubblicazioni non devono essere confrontate una con l’altra, perche’ allora la differenza diventa un errore evidente.
Una possibile soluzione sarebbe rinormalizzare l’IF per ogni disciplina, considerando solo le riviste piu’ prestigiose della disciplina stessa, anche se indubbiamente si avrebbero difficolta’ di principio per un’operazione del genere.
Pero’ anche all’interno di ogni disciplina l’IF pone dei problemi, e per spiegarmi continuo ad usare la fisica, che ovviamente conosco bene. Tutte le testate che pubblicano le riviste piu’ importanti hanno anche una sezione di Letters, cioe’ una rivista dedicata alle comunicazioni brevi di risultati importanti, quasi piu’ annunci di risultati che discussione degli stessi, e che, raccogliendo novita’ e contributi da diversi settori della fisica, e’ letta da molti. Il suo IF e’ quindi molto superiore a quello delle diverse riviste piu’ specialistiche dei vari settori in cui vengono pubblicati articoli completi, con esposizione di tutti gli elementi a favore e contro, e da cui si richiede la massima completezza di esposizione. Anche questa differenza non e’ facilmente giustificabile, e tende a far privilegiare il semplice annuncio ad una completa esposizione dei risultati, con ovvie conseguenze sulla credibilita’ dell’annuncio stesso.
Un altro dei cosiddetti elementi “oggettivi” usati internazionalmente, e quindi anche per questa valutazione, e’ il Citation Index, cioe’ il numero di volte che un certo articolo e’ citato da altri articoli. Basta pensare con un poco di buon senso per capire che, seppure oggettivo, questo e’ un elemento su cui ci sono molti dubbi sulla sua capacita’ di giudicare la validita’ di un articolo. Intanto spesso si cita un articolo per confutarlo, e questo avviene almeno altrettanto spesso della citazione per riconoscimento, poi e’ evidente che tanti piu’ sono i ricercatori attivi in un settore, tanto piu’ un articolo puo’ essere citato, cosa che non inficia il giudizio relativo all’interno del settore, ma rende complicato il paragone con settori diversi. Quello che e’ peggio e’ che ormai, specialmente nei paesi dove questo criterio e’ usato da piu’ tempo, le citazioni stanno diventando molto controllate. Si citano prima di tutto i propri articoli precedenti, anche se la rilevanza e’ marginale, e poi si creano delle vere e proprie “cordate”, i cui partecipanti tendono a citare solo i lavori dei compagni di cordata, “dimenticandosi” di chi non ve ne fa parte, anche se fortemente coinvolto nel tipo di ricerca. Sarebbe compito dei referee accertarsi della completezza delle citazioni, ma spesso e’ un elemento che sfugge o non e’ ritenuto importante, anche se credo lo sara’ sempre piu’.
E’ evidente quindi che i due criteri ritenuti piu’ oggettivi e generalmente usati in campo internazionale, in realta’ hanno qualche difficolta’ a selezionare la qualita’, specialmente nella comparazione tra discipline diverse, e sono facilmente “pilotabili”, una volta che sia chiaro il loro uso. In realta’ non esistono poi tante alternative all’esame diretto dei lavori da parte di persone neutre e competenti. Situazione che ovviamente ha poco di oggettivo. ma questa e’ la realta’ della ricerca scientifica, e credo sia inutile pretendere qualcosa di piu’ di questo.
Questa mia considerazione sull’oggettivita’ dei criteri di giudizio utilizzati, spiega in parte certi risultati della valutazione stessa, in particolare le classifiche finali, che apparentemente non coincidono completamente con le valutazioni relative generalmente accettate nel mondo scientifico.
Un altro elemento che puo’ essere onestamente criticato nella procedura di valutazione e’ che i criteri su cui la valutazione stessa si basa sono applicati nello stesso modo, e con lo stesso peso, a tutti gli enti di ricerca in esame, indipendentemente dalla loro finalita’ di ricerca. Solo per fare un esempio, il numero di brevetti ottenuti ha un significato diverso a secondo se l’ente in questione ha come finalita’ lo studio della scienza di base o se ha finalita’ piu’ applicative. Differenza che e’ sicuramente colta vella valutazione discorsiva dei Panel di Area, ma che non trova, e non puo’ trovare, riscontro nelle valutazioni tabellari e nel loro effetto sul rating finale.
A parte queste considerazioni che, come ho detto, sono intrinsiche ai procedimenti di comparazione internazionalmente accettati e che richiedono solo un minimo di attenzione nell’analisi delle valutazioni finali, e forse una qualche differenziazione nei criteri nel futuro, dalla lettura della relazione finale del CIVR si ottengono diverse informazioni interessanti.
La prima e’ che la produzione scientifica dei principali enti di ricerca italiani e’ di buon livello internazionale, ben integrata con analoghe attivita’ mondiali, con alti indici di IF e con efficienza pubblicazioni/ricercatore superiore alla media europea. Siamo indietro nella media europea per valori assoluti di pubblicazioni, ma questo e’ dovuto al fatto che abbiamo molti meno ricercatori, anche in proporzione al numero di abitanti. Questo vale piu’ o meno per tutti gli enti principali, a parte l’ENEA, con l’osservazione di una tendenza piuttosto netta alla diminuizione della produttivita’ da parte del CNR. Il CIVR ipotizza che questo possa essere dovuto al grosso aumento di risorse dall’esterno cui l’ente ha dovuto ricorrere per la diminuizione dei finanziamenti statali e far fronte alla sua rigidita’ di spesa. Dedicare sforzi ad attivita’ per conto terzi puo’ aver distolto dall’attivita’ di ricerca vera e propria. Questa e’ un’osservazione importante, e il CIVR invita a curare nel futuro questo aspetto, che limita l’obiettivo principale dell’ente.
Un’osservazione che mi sento di fare a proposito di questa buona valutazione dei risultati scientifici e’ che non distingue tra prodotti (cioe’ articoli scientifici) teorici o di simulazione numerica e quelli sperimentali coinvolgenti apparati e tecnologie d’avanguardia. Credo che una analisi del genere farebbe apparire alcune differenze tra enti, e dimostrerebbe una preponderanza della parte teorico/numerica, in cui le strutture e gli investimenti in tecnologia non sono indispensabili, perche’ poco si e’ investito in strumentazione nel periodo considerato e negli anni precedenti.
Risultano invece carenti le ricerche applicate, i trasferimenti verso l’industria ed i brevetti. In altre parole, non vi e’ un collegamento tra gli enti di ricerca e l’industria. Il CIVR sottolinea anche come la stessa formazione, cioe’ la preparazione di studenti, dottorandi e borsisti, che pure e’ ampia, abbia come quasi unico sbocco l’attivita’ di ricerca, in Italia o all’estero. In realta’ sfugge al CIVR un dato molto piu’ preoccupante, che ho sottolineato nella mia nota sul Dottorato di Ricerca , e cioe’ il fatto che molte persone di alto livello scientifico, nell’ambito della fisica e della matematica, situazione che conosco, abbandonano la carriera scientifica per mancanza di sbocchi e tornano a puntare sulla scuola, avendo nel frattempo perso un notevole numero di anni a bassissimo stipendio.
Il problema non e’ l’incapacita’ degli enti ad interagire con l’industria, e’ semplicemente la non esistenza di un’industria interessata all’innovazione e allo sviluppo e disposta a pagare personale di alta qualificazione, di cui, in genere, non sa che farsene. Cose che avevo gia’ detto , e che trovano nella relazione del CIVR una ulteriore conferma.
Di questa difficolta’ di interazione con l’industria ne paga il prezzo peggiore l’ENEA che ha un indirizzo verso la promozione di tecnologie in campo energetico ed ambientale, e che nell’industria dovrebbe trovare il partner ideale. Con l’aggiunta di gravi problemi organizzativi e di un’eta’ media elevata, la situazione dell’ENEA risulta la peggiore tra i grandi enti.
Esistono poi alcuni enti di ricerca di dimensioni estremamente ridotte e con obiettivi limitati, della cui ragione di esistere come enti autonomi mi permetto di dubitare.
Un aspetto che viene solo accennato dal CIVR, dimostrando pero’ di averne ragionevole coscienza, e che io credo veramente essenziale per lo sviluppo scientifico e tecnologico dell’Italia, e’ quello della dimensione dei laboratori. I laboratori, per essere veramente efficaci, devono avere una dimensione adeguata, riunire un numero sufficiente di competenze diverse di alta qualita’ e coprire capacita’ tecnologiche molto varie.
Nel confronto del CNR con altre realta’ europee equivalenti, risulta una frammentazione simile per il CNRS francese, ma una molto maggiore concentrazione per il Max Planck tedesco, dove molte risorse sono concentrate in pochi istituti, che dispongono anche di un maggiore supporto di personale tecnico. D’altra parte chi conosce almeno qualche istituto Max Planck sa benissimo che li’ si “fa” sia scienza che tecnologia, non ci si limita agli aspetti teorici, per quanto di alto livello.
Oltre ai Max Planck la Germania dispone di laboratori ancora piu’ grossi, che ospitano acceleratori di particelle ma che sviluppano ricerca anche in direzioni diverse dalla fisica nucleare, specialmente in fisica dei materiali, ottica, biologia e medicina. Anche la Francia ha i suoi grandi laboratori che, spesso uniti ad una parte militare, rappresentano anch’essi i punti di riferimento scientifico e tecnologico.
Gli equivalenti italiani sono i laboratori dell’INFN (Istituto Nazionale di Fisica Nucleare) che, per quando grandi in ottica nazionale, sono ancora piuttosto modesti a livello europeo. La stessa struttura dell’INFN, distribuita in praticamente tutti gli istituti di fisica delle universita’ italiane, non facilita la concentrazione di sforzi nei laboratori, con in piu’ il fatto che l’obiettivo principale dell’INFN rimane la ricerca di fisica nucleare e subnucleare.
Ma che entita’ dal peso specifico adeguato, e con competenze di altisssimo livello su piu’ campi siano assolutamente necessari, lo si vede quando si deve contrattare la partecipazione ai programmi cofinanziati dalla Comunita’ Europea, per portare risorse aggiuntive alla nostra ricerca, che di tali risorse ha un disperato bisogno.
Mi sembra che il problema sia stato colto dal CIVR, ma che ancora non ci siano indicazioni precise su come potenziare queste nostre strutture.
Sui finanziamenti FIRB la relazione del CIVR dice poco, se non che apprezza il lavoro fatto dagli esperti del ministero. I finanziamenti per la ricerca industriale, causa un sovrapporsi di leggi e il quasi azzeramento dei fondi, sono stati erogati in misura estremamente ridotta.
Per quel poco che ne so, rimangono fondi distribuiti sostanzialmente a pioggia con attenzione a bilanciamenti geografici. Ma un’analisi di questa parte dei finanziamenti pubblici per la ricerca richiede tempo ed informazioni non banali da reperire.
In ogni caso, se l’azione del CIVR riuscira’ a rendere piu’ selettiva l’assegnazione, specialmente dei fondi FIRB, e a rendere attuale un vero controllo dei risultati, sara’ un’opera meritoria.
Il lavoro forse piu’ impegnativo del CIVR e’ stato quello di stabilire dei criteri oggettivi di analisi della ricerca sia pubblica che privata italiana, e di cercare di imporli ai diversi Comitati di Valutazione di cui, contemporaneamente, si stimolava l’istituzione. Un commento sull’analisi dei risultati per tutte le varie Aree di Ricerca soggette a controllo del MIUR, e quindi anche dell’Universita’, lo trovate qui.