Valutazione della Ricerca - I Panel di Area

La Valutazione della Ricerca – I Panel di Area

Michele Castellano
(28/10/2006)

In questa nota vorrei fare alcune considerazioni sui Risultati delle Valutazioni dei Panel di Area riguardanti la prima applicazione della Valutazione Triennale della Ricerca (VTR) per il periodo 2001-2003. In una nota precedente avevo presentato qualche osservazione sulla Relazione del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR) che si riferiva ai soli Enti di Ricerca Nazionali, mentre in questo caso si tratta delle Relazioni dei 20 Panel delle altrettante sezioni in cui e’ stata suddivisa l’intera ricerca italiana. In queste 280 pagine, che erano una volta scaricabili dal sito del CIVR, vengono esaminati i “prodotti” presentati da 77 universita’, 12 enti pubblici di ricerca e 13 istituzioni private di ricerca. La scelta dei “prodotti” viene lasciata alle singole istituzioni, mentre il loro numero e’ legato al numero di ricercatori equivalenti a tempo pieno (ETP) di ogni struttura. Ogni ricercatore di un ente di ricerca corrisponde ad un ETP, mentre un universitario corrisponde a 0.5 ETP, per tener conto anche del compito di insegnamento.
Questa parametrizzazione e’ ovviamente del tutto arbitraria, e puo’ facilmente essere soggetta a critiche. In ogni caso e’ stato chiesto ad ogni struttura di inviare un numero di “prodotti” pari al 50% degli ETP della struttura stessa. Tenendo conto che ci si riferisce ad un periodo di 3 anni, la quantita’ richiesta mi sembra particolarmente bassa, significando che in pratica e’ stato possibile inviare esclusivamente il meglio della produzione scientifica per ogni struttura, specialmente per quelle attivita’ caratterizzate intrinsecamente da una alta produzione scientifica per addetto o, in altre parole, dove si pubblica piu’ facilmente. Ovvio che questo fatto puo’ avere avuto un impatto sul “rating” finale.

Poichè il sito del CIVR è inopinatamente scomparso, con tutta la sua documentazione, che non sono ancora riuscito a trovare nel sito del MIUR, dove spero continui ad essere reso disponibile nella sua interezza, metto a disposizione di chi possa essere interessato tutti i Documenti Originali della Valutazione 2001-2003 sul mio sito personale, fino a che lo spazio a disposizione me lo permetterà

Le considerazioni che ho fatto nella nota precedente sui criteri usati per la valutazione della qualita’ della ricerca, criteri oggettivi, ma spesso non proprio adatti a paragonare cose diverse, valgono anche in questo caso, e non li ripeto qui. Nei lavori dei Panel vi e’ pero’ un altro aspetto di molto peso, in quanto tutti i “prodotti” sono stati giudicati da almeno due esperti scelti dal panel stesso, spesso stranieri, che hanno inviato anche una valutazione analitica, oltre ad una quantificazione in grossi termini, inserendo il “prodotto” tra gli “eccellenti”, i “buoni”, gli “accettabili” ed i “limitati”, che ha poi corrisposto ad un valore numerico che ha prodotto la classifica finale.
Questa valutazione analitica non e’ pero’ disponibile al livello di questa relazione, e verra’ usata dal CIVR per la sua Valutazione finale, che ancora non e’ stata pubblicata (E' stata pubblicata nel Febbraio 2007, ed e' ora presente anche il mio commento a questa Relazione Finale).Nel ribadire che si e’ trattato di un lavoro encomiabile, dell’inizio di una pratica, quella della valutazione, che deve diventare una prassi per il mondo della ricerca italiana, ma non solo per la ricerca, e che gli indirizzi lungo cui muoversi sono stati posti con rigore organizzativo e contemporaneamente con molto buon senso, devo anche osservare che alcuni limiti della loro applicazione reale sono piu’ evidenti in questo dettagliato esame dell’intera ricerca in Italia che nella Relazione sugli Enti di Ricerca pubblicata in precedenza.
Cominciando dalla relativa poca trasparenza e dal conseguente rischio di parzialita’ nella scelta dei membri dei vari panel. Mi rendo ben conto che ci sono poche alternative valide, e che tutto sommato i vari panel sono risultati di alto livello, ben equilibrati e hanno svolto il loro lavoro egregiamente, ma bisogna tenere conto che questa era la prima volta, e le varie lobby non si erano ancora messe in moto. Se alle promesse fara’ seguito l’effettivo uso delle graduatorie risultanti per privilegiare i finanziamenti pubblici, allora bisognera’ trovare un modo piu’ trasparente per la formazione dei comitati e piu’ impegnativo per i partecipanti. E comunque non sono mancate scelte molto discutibili gia’ questa volta nella costituzione del panel, con conseguenze nelle valutazioni finali.
Una diversa e meno appariscente fonte di possibile parzialita’ deriva anche dal necessariamente ridotto numero di panelisti, per cui e’ facile succeda che settori particolari di una disciplina non siano rappresentati, nonostante le migliori buone intenzioni, o siano sottorappresentati. Nulla cui una buona disposizione del panel non possa porre rimedio, ma perche’ questo succeda con certezza occorre che ogni panelista si senta responsabile solo della propria capacita’ ed onesta’ di valutazione, e che le ragioni della sua scelta a far parte del panel siano pubbliche e condivise.
Come conseguenza della discrezionalita’ di questa prima scelta, ne consegue anche una corrispondente discrezionalita’ nella selezione degli esperti chiamati a dare il giudizio sui singoli “prodotti”. L’indirizzo di scegliere il piu’ possibile persone straniere e’ sicuramente un ottimo modo per ridurre questo possibile pericolo, ma e’ anche una evidente ammissione che il pericolo esiste. Poiche’ l’utilizzo di esperti stranieri e’ stato tutto sommato minoritario, anche la scelta a questo livello credo debba, per il futuro, seguire criteri di maggiore trasparenza, pur conservando il ruolo di anonimato che e’ un elemento direi fondamentale. Ancora una volta vorrei sottolineare che questa mia non e’ una critica all’operato delle persone che hanno svolto l’attuale Valutazione, ma e’ il mettere in evidenza un punto debole che credo possa avere un peso quando i risultati della Valutazione incominceranno a generare conseguenze concrete.
Anche il modo di presentare i risultati, con classifiche precise, ricavate dalle valutazioni di merito dei “prodotti”, fino alla seconda cifra decimale, e’ forse discutibile, ma ne parlero’ nelle conclusioni di questa nota, insieme alle ambiguita’ della suddivisione in base alla dimensione delle strutture.
In realta’ il risultato di questa prima tornata di Valutazione e’ estremamente lusinghiero, con una evidente produzione scientifica di alto livello, ben inserita nella competizione internazionale, se pur con qualche significativa differenza tra i diversi settori, ma anche qui rimando alle conclusioni per maggiori dettagli.
Dalla lettura delle relazioni dei singoli panel e’ possibile ricavare una buona quantita’ di informazioni, anche di indicazioni su cosa e come migliorare nel futuro la stessa Valutazione. Cerchero’ ora di illustrare qualche singolo punto che mi e’ sembrato degno di attenzione.

Panel 01 – Scienze matematiche ed informatiche

Il panel e’ formato per piu’ della meta’ da italiani affiliati ad istituzioni estere.
Viene evidenziato un problema che sara’ comune a molti panel, e cioe’ la difficolta’ di ottenere risposta dagli esperti selezionati dal data base disponibile, anche per la semplice accettazione del compito. Si invita a prendere provvedimenti per rendere questa parte del processo piu’ fluida e piu’ breve.
Si richiede, per il futuro, una migliore suddivisione del settore informatico, questa volta presente come una sola area, suddivisa poi dal panel, e la concentrazione dei prodotti informatici, questa volta troppo dispersi, in un unico panel.
Il giudizio sui lavori e’ sostanzialmente buono, cosi’ come il livello internazionale.
Il settore che appare di migliore qualita’ e’ la Geometria, con predominanza di “prodotti” giudicati “eccellenti”.
Si nota una scarsita’ di “prodotti” in probabilita’ e statistica di fronte ad un’eccessiva abbondanza in analisi e fisica matematica, riproducendo lo squilibrio esistente nella ricerca matematica italiana.

Panel 02 – Scienze fisiche

Viene evidenziata una consistente fonte di possibile conflitto di interessi tra i membri del panel dipendenti da alcuni enti di ricerca e i “prodotti” del loro settore derivanti in gran parte da questi stessi enti, che ha comportato difficolta’ nel distribuire i “prodotti” da valutare.
Questo elemento mi porta alla considerazione che i criteri per evitare i conflitti di interessi debbano probabilmente essere rivisti, per evitare di penalizzare, direttamente o indirettamente, i grandi enti, che nella fisica rappresentano la gran parte della ricerca in Italia.
La massiccia presenza dei grandi enti pone anche dei problemi di interpretazione delle classifiche finali. Infatti 1424 “prodotti” su un totale di 2101 provenivano dai 5 grandi enti, ed addirittura 1006 dai primi due come numero di ricercatori attivi nel settore della fisica, cioe’ l’INFN e l’INFM. Ma nella valutazione degli ETP, e quindi di conseguenza del numero di “prodotti” da presentare, per gli enti si sono considerati anche gli universitari con un “contratto di ricerca”, a titolo gratuito, con gli enti stessi. Questi universitari contribuiscono per circa il 50% degli ETP per l’INFN, sono addirittura preponderanti per l’INFM, meno significativi per il CNR e del tutto trascurabili per l’ENEA. Dell’INAF ignoro i numeri relativi. Questo elemento modifica sicuramente il rapporto tra le varie universita’, a secondo di quanti dei suoi docenti vengano valutati appartenenti agli enti, quanti vengano contati due volte, quanti dei “prodotti” ascrivibili agli enti siano in realta’ presentati anche dalle universita’. E questo a parte il fatto che non sempre l’incarico di ricerca comporta una vera partecipazione alle attivita’ dell’ente, che rimane in ogni caso una struttura diversa da quella di appartenenza, verso cui si hanno indubbiamente responsabilita’ minori.
Tenendo conto che questo intreccio attivo tra universita’ ed enti di ricerca e’ stato finora estremamente positivo e che ci sarebbe molto da fare per migliorarlo ulteriormente, credo che anche il CIVR debba tenerne conto, trovando il modo di valorizzare questo aspetto, in un modo meno ambiguo dell’attuale.
La valutazione globale dell’attivita’ di ricerca in fisica, vista la preponderanza dei grandi enti, non puo’ discostarsi molto da quanto gia’ esposto nella relazione del CIVR relativa agli enti stessi. Il livello della ricerca di base e’ estremamente buono e completamente inserito nella ricerca internazionale, specialmente grazie all’INFN e all’INFM, senza dimenticare la piu’ piccola INAF, ma bisogna sempre considerare il grosso legame che questi enti hanno con l’universita’, per cui parte di questi risultati sono condivisi con l’universita’ stessa.
Il problema, come gia’ evidenziato nella Relazione del CIVR, e’ nella ricerca applicata, che risulta molto inferiore a quanto sarebbe auspicabile e a quanto avviene nelle altre nazioni industrializzate. Questo deficit e’ visibile sia nella quantita. che qualita’ degli articoli pubblicati, ma sopratutto nel numero dei brevetti, e nella difficolta’ di valutarne l’impatto economico. La ricerca applicata e’ guidata dalle possibili applicazioni industriali, e nello stesso tempo diretta verso le stesse. L’assenza della capacita’ dell’industria media italiana di svolgere, o promuovere, della ricerca spiega in gran parte il piccolo valore assoluto della stessa, ma il vero problema italiano e’ l’incapacita’ dell’industria ad utilizzare la ricerca fornita gratis da altri, come avevo gia’ evidenziato in una nota precedente. E questo spiega anche perche’ universita’ ed enti in teoria del tutto in grado di rendere applicative le ricerche di base, evitino accuratamente di farlo: non servirebbe a nessuno.
Un elemento che mi sembra di cogliere tra le parole politicamente curate della relazione di panel, e’ la difficolta’ di giudicare uno del tipo di “prodotti” che si era richiesto di presentare, cioe’ le “Realizzazioni Applicative e Manufatti”. In genere si e’ trattato di grossi apparati sperimentali prodotti da collaborazioni internazionali. Oggetti ovviamente importanti, unici e che hanno richiesto sviluppi tecnologici innovativi, ma proprio per questo difficilmente inseribili in uno schema comparativo, visto che non possono essere comparati con nulla di equivalente. Anche in questo credo che il CIVR dovra’ dare delle indicazioni piu’ precise.
La classifica finale offre le stesse problematiche di altri panel, e ne parlero’ nelle conclusioni di questa nota.

Panel 03 – Scienze chimiche

Anche da questo panel viene evidenziata la difficolta’ di avere risposte da molti degli esperti stranieri, per cui a volte si e’ dovuto ricorrere ad esperti italiani per mantenere contenuti i tempi. E’ evidente che l’accettazione al compito da parte degli esperti deve essere accertata a priori, se si vuole completare rapidamente la procedura di valutazione.
La stragrande maggioranza dei “prodotti’ presentati (93,1%) sono articoli su riviste di levatura medio-alta con Impact Factor molto variabile. Viene osservato, in accordo con quanto avevo fatto notare indipendentemente nella mia nota precedente, che un elevato IF non corrisponde ad una elevata qualita’ del lavoro, poiche’ hanno IF elevato riviste generaliste e/o di rassegna, mentre i lavori di alta qualita’ vengono diretti a riviste specializzate.
Anche il “grado di proprieta’ “ sembra correlato inversamente alla qualita’ del lavoro. Cioe’ lavori a piu’ basso grado di proprieta’ sono tipicamente migliori. In particolare le collaborazioni internazionali tendono a produrre risultati di qualita’ migliore, a fronte di un minor grado di “proprieta’ “. Il panel auspica una redefinizione di questo parametro. Ma questo e’ un aspetto generale su cui commentero’ nelle conclusioni.
Il panel nota l’elevata qualita’ dei prodotti delle aree tradizionalmente forti in Italia, come catalisi e polimeri, con alcuni ottimi prodotti nei settori della chimica organica e dei materiali. E’ invece scarsa la presenza in settori emergenti, come il collegamento tra chimica e biologia, e poco presenti anche lavori in chimica combinatoriale, in controtendenza alla media internazionale.
Anche in questa disciplina che per molti aspetti e’ strettamente legata al mondo produttivo, viene evidenziata la scarsita’ di brevetti, con in piu’ il fatto che anche quei pochi, di buon livello, presentati dalle universita’, non evidenziano un concreto interesse industriale. La presenza di brevetti in collaborazione con industrie, o che hanno dato origine a spin-off direttamente da ricerca universitaria, mostra come in realta’ la collaborazione sia possibile. Anche sul piano degli articoli su rivista, si nota la ridotta presenza di lavori in collaborazione con potenziali utilizzatori industriali.
Questo puo’ essere sicuramente dovuto, almeno in parte, agli accordi di collaborazione tra Enti/Universita’ ed industrie che possono prevedere limitazioni alla proprieta’ e alla divulgazione dei risultati. Puo’ aver pesato anche il fatto che i prodotti presentati sono solo una parte di quelli realizzati e scelti dalla struttura, che potrebbe non aver valutato di particolare importanza presentare brevetti e/o risultati applicativi. Ma questi aspetti, se pur veri, non credo bastino a giustificare una carenza cosi’ grossa e cosi’ generalizzata in tutti i settori.

Panel 04 – Scienze della terra

Il panel riconosce un elevato livello della ricerca italiana, ben integrata in quella internazionale.Viene notato che l’orientamento sempre piu’ forte verso l’applicazione delle conoscenze geologiche a temi ambientali, quali i rischi naturali, i cambiamenti climatici, la gestione delle acque, lo stoccaggio dei rifiuti, la pianificazione dello sviluppo e la gestione del territorio pone dei problemi sull’uso commerciale delle ricerche scientifiche, con il favorire i benefici a breve termine rispetto alla ricerca di base.
Purtroppo il panel non da’ una qualsiasi ricetta alternativa, una proposta organizzativa che riduca il rischio, ne’ d’altra parte era suo compito darne. Si limita ad evidenziare il problema, auspicando una maggiore collaborazione internazionale.
Alcuni settori, quali la mineralogia chimica, la geochimica dei gas, la geochimica dei fusi, e diversi altri, mostrano un ottimo livello di innovazione. In generale l’Italia e’ considerata ben inserita nel contesto internazionale, anche se per qualche gruppo si auspica uno sforzo maggiore verso l’esterno.
Competitive a livello internazionale risultano le ricerche nei settori dell’attivita’ sismica e vulcanica, della chimica dei minerali, della oceanografia operativa e del sistema climatico, mentre la Rete Sismica Nazionale e’ considerata un esempio ed un modello per altri paesi.
L’estremamente scarso numero di brevetti presentato, solo due, dimostra invece un problema che, anche se comune con molti altri settori scientifici, e’ probabilmente rafforzato nel settore delle Scienze della Terra dallo scarso supporto che dagli enti e dalle universita’ e’ dato alla brevettazione, lasciata all’iniziativa individuale.
Oltre alle solite osservazioni, comuni a quasi tutti i panel, sulla necessita’ di rivedere il data base degli esperti, e di rivedere i criteri di assegnazione per ridurre i ritardi nel completamento della valutazione, questo panel fa per la prima volta (nell’elenco dei panel cosi’ come presentati dalla relazione del CIVR) delle osservazioni di interesse generale che val la pena di mettere in rilievo.
1) Rispondere alle esigenze della Valutazione e fare un referaggio di un articolo da pubblicare su una rivista sono due cose diverse, ma se le istruzioni su cosa si chiede ai referee non vengono esplicitate bene, ci puo’ essere confusione, generando rapporti non omogenei.
2) La domanda sul “grado di internalizzazione” risulta estremamente confusa, permettendo interpretazioni estremamente diverse, dal numero di autori stranieri, all’impatto internazionale o al potenziale di collaborazioni internazionali. Questo e’ un punto fondamentale, ed e’ una debolezza dell’attuale formulazione, che ha causato problemi piuttosto rilevanti, come vedremo in seguito.

Panel 05 – Scienze Biologiche

Questo panel copre un ampio spettro di discipline, suddivise in 17 categorie, che ha posto alcuni problemi di suddivisione dei “prodotti” da esaminare, sia tra le categorie che tra i panelist stessi, per frequenti “conflitti di interesse”.
La complessita’ ed etereogenicita’ dei contenuti ha probabilmente portato ad un resoconto finale estremamente stringato, non in grado di dare, ad un non esperto quale sono io, una comprensione generale e non specialistica del giudizio sulla materia trattata.
Un’osservazione interessante di questo panel e’ che la correlazione, comune a tutte le discipline, tra maggiore qualita’ dei prodotti e minore grado di proprieta’, non sempre significa che una maggiore apertura all’esterno, specialmente con l’estero, e quindi minore percentuale di contributo della sede in questione, corrisponde ad una migliore qualita’ media, come viene ritenuto dagli altri panel. Alcune volte cio’ sembra indicare una debolezza delle sedi stesse, che necessitano di acquisire all’esterno l’utilizzo di tecnologie avanzate.
Questa tesi e’ interessante, ma dalla relazione non si capisce da quale elemento il panel l’abbia dedotta, se non forse da conoscenza diretta dei panelisti.
Il giudizio complessivo sui “prodotti’ presentati e’ buono, anche se a me sembra che questo panel abbia dimostrato troppa tendenza a stilare classifiche. Ritengo infatti che solo il giudizio finale e complessivo del CIVR, in cui si dovra’ tener conto di tutti gli aspetti globalmente, potra’ avere un valore di classificazione.
Su un aspetto la relazione di questo panel mi sembra piu’ reticente del dovuto, ed e’ quello relativo ai brevetti. Come riconosce il panel stesso, l’area di scienze biologiche ha un enorme potenziale di sviluppi applicativi in settori come la farmacologia o la biologia molecolare, per citarne solo alcuni. Questo pero’ non si e’ tradotto nella presentazione di un adeguato numero di brevetti come parte dei “prodotti” sottoposti alla valutazione. Sono sempre un numero superiore a quello di altre discipline, ma pochi rispetto al potenziale. Al di la’ di un giudizio di valore su questi brevetti, il panel non si spinge. Non tenta di dare le motivazioni di questa carenza, se ci sono ragioni strutturali o se la ricerca applicata tenda, come succede in altri settori, a riversarsi esclusivamente a favore delle industrie, con accordi di non divulgabilita’, e magari con ritorno economico ma non scientifico, di chi la svolge.
Spero che la relazione finale del CIVR chiarisca anche questo aspetto che e’ estremamente importante per l’economia italiana.

Panel 06 – Scienze Mediche

Con questo panel iniziano gli argomenti in cui la mia competenza e’ sostanzialmente nulla, per cui mi posso solo limitare ad osservazioni di di interesse generale e a riportare aspetti interessanti delle relazioni del panel stesso.
Per le Scienze mediche vi e’ da osservare intanto che e’ il panel con di gran lunga il maggior numero di “ricercatori equivalenti”, piu’ di 5800. Tenendo conto che si tratta sostanzialmente di universitari, che contano per una meta’, cio’ significa che vi sono piu’ di 11000 ricercatori/docenti coinvolti. Al di la’ di qualunque argomento successivo, credo che questi numeri indichino senza alcun dubbio un problema di confusione tra ricerca ed attivita’ assistenziale nella medicina italiana, poiche’ per la maggior parte dei casi si parla di persone afferenti a Policlinici universitari. Problema che pero’ e’ completamente al di fuori degli scopi di questa nota.
La relazione del panel e’ fatta estremamente bene, per l’occhio di un non esperto, perche’ non si dilunga in analisi specialistiche, ma esamina con attenzione il significato, anche dal punto di vista statistico, dei “prodotti” presentati, la distribuzione di qualita’ ed il suo significato in termini di valutazione delle strutture, anche se questo giudizio viene lasciato alla valutazione finale del CIVR.
Una relazione “comprensibile”, per me, che mi permette di fare delle osservazioni personali.
Inizio con un’osservazione critica: il panel e’ apparentemente composto solo da italiani, e non viene data alcuna informazione sulla quantita’ di esperti stranieri coinvolti nella valutazione. Questa mancanza di informazione lo ritengo un aspetto negativo che deve essere corretto nel futuro, tenendo anche conto della fama di autoreferenzialita’ che ha la medicina italiana. In assenza di una evidente e preponderante presenza di esperti internazionali, anche il notevole giudizio che viene dato dal panel al complesso dei “prodotti” puo’ sempre lasciare adito a dubbi.
Dubbi che sono sicuramente ridotti dal fatto che la stragrande maggioranza degli articoli su rivista presentati alla valutazione sono su riviste di fama internazionale, con referee di alto livello. Quindi e’ abbastanza evidente che in questa disciplina anche in Italia si fa ricerca di altissima qualita’. L’analisi dell’impatto di una richiesta estremamente ridotta di “prodotti” da valutare sull’aspetto qualitativo del risultato della valutazione lo lascio alle conclusioni finali.
In breve, ora, le osservazioni del panel.
Come gia’ detto, la maggior parte dei “prodotti” presentati consiste di pubblicazioni su rivista internazionali con peer review. Il giudizio del panel e’ di “eccellente” per il 26% di loro, “buono” per il 50%, “accettabile” nel 18% dei casi e “limitato” solo per il 6%. La percentuale, piccola ma non trascurabile, di lavori di queste due ultime categorie indica che vi sono strutture di ricerca non proprio competitive e che in alcuni casi la scelta dei lavori da presentare ha curato la rappresentanza di tutte le parti piuttosto che la migliore qualita’. In ogni caso, la continuazione dell’azione di valutazione dovrebbe chiarire dove esistono punti deboli e distribuire con consapevolezza le risorse.
La “rilevanza” sembra un criterio non completamente chiaro, con molte possibili interpretazioni, ed il panel preferisce riferirsi al giudizion di qualita’ anche per giudicare la rilevanza di un “prodotto”.
Come elemento di “internalizzazione” il panel considera solo l’essere la maggior parte dei “prodotti” scritti in lingua inglese. Direi che e’ un esempio di come alcune richieste del CIVR possano non essere capite.
L’analisi del grado di proprieta’ si presta a diverse osservazioni. Considerando tutti i “prodotti”, il grado di proprieta’ e’ maggiore per le strutture piu’ grandi e tende a scendere, di poco, al diminuire delle dimensioni delle strutture stesse, ma questa diminuizione e’ molto piu’ accentuata se si guardano solo i “prodotti” giudicati “eccellenti”. Cio’ indica che sono presentati “prodotti” in cui la sede presentante ha svolto un ruolo significativo, ed e’ evidente che le grandi strutture sono in grado di guidare anche collaborazioni su temi di eccellenza. Si hanno pero’ molti casi in cui la collaborazione, specialmente da parte di piccole strutture e con partner esteri, si limita alla presenza di un ricercatore nell’elenco degli autori, indicando che si tratta di una persona in visita temporanea nella struttura in cui la ricerca e’ effettivamente effettuata. Pur ritenendo questo aspetto positivo, il panel considera anche che questi “prodotti” non dovrebbero essere considerati alla stessa stregua degli altri nella valutazione della struttura soggetta alla valutazione.
Il panel osserva poi che anche in presenza di dati scientifici originali tali da prestarsi ad essere tradotti in brevetti con uso commerciale, questo e’ avvenuto in un numero molto limitato di casi, e quasi esclusivamente per le grandi strutture. In particolare il 41% di tutti i brevetti e’ stato generato da due sole strutture, che hanno probabilmente a disposizione un ufficio dedicato alla gestione di queste pratiche, la cui mancanza nella generalita’ delle universita’ italiane puo’ spiegare, a parere del panel, la scarsita’ totale di brevetti.

Panel 07 – Scienze Agrarie e Veterinarie

Questo panel, di fronte ad una sistematica predilizione degli esperti esterni per il giudizio di “buono” sui “prodotti” sottoposti a valutazione, ha suddiviso questo giudizio, per le proprie valutazioni interne, in tre sottolivelli, B+,B e B-, lasciando cosi’ intendere di ritenere troppo uniforme e poco selettiva l’analisi degli esperti stessi.
Il giudizio complessivo del panel su questa attivita’ non e’ d’altronde molto positivo, rimarcando prima di tutto il basso valore del rapporto tra il numero di “prodotti” pesati con il loro giudizio di qualita’ ed il numero di ricercatori, anche se a mio parere questo parametro risente troppo dal basso numero complessivamente richiesto dal CIVR per essere veramente significativo.
Il panel nota pero’ la quasi assenza di lavori pubblicati sulle piu’ prestigiose riviste internazionali, che indica una presenza internazionale di non alto livello.
A questo si aggiunge una bassa percentuale di proprieta’, specialmente per i lavori migliori, cui si aggiunge una eccessiva frammentazione delle strutture di ricerca, mentre e’ evidente che le maggiori dimensioni portano anche i migliori risultati.
Il giudizio complessivo sui lavori e’ buono (ma bisogna tener conto della riserva implicita dovuta alla suddivisione del livello di giudizio “buono”).
I brevetti sono una percentuale piu’ alta rispetto alle altre discipline, ed il livello puo’ essere considerato buono, tenendo anche conto delle condizioni della brevettabilita’ in Italia degli OGM.
Il panel fa poi un’analisi comparata dei vari settori, cercando di individuare le linee piu’ promettenti e capaci di dare risultati positivi e le sedi dove cio’ avviene, analisi che puo’ essere di grande utilita’ per gli addetti al settore.

Panel 08 – Ingegneria Civile ed Architettura

La relazione del panel e’ estremamente stringata, limitandosi, sostanzialmente, ad indicare un buon livello medio dei “prodotti” ed una migliore qualita’, con minore dispersione di valori, per quelli presentati dalle grandi strutture rispetto alle piccole.

Panel 09 – Ingegneria Industriale e dell’Informazione

Risulta abbastanza difficile dare un riassunto della relazione di questo panel, che e’ uno dei piu’ importanti per le sue implicazioni industriali ed economiche. La ragione e’ che la relazione del panel abbonda di tabelle, divise per le innumerevoli classi ISO che fanno capo a questo raggruppamento, in cui si riportano le suddivisioni dei vari “prodotti”, i giudizi degli esperti ed il giudizio finale del panel. In mancanza di un riassunto generale che ne tragga le conclusioni, addentrarsi in questi dettagli e’ estremamente difficile.
Alcune considerazioni generali possono pero’ essere ricavate. Il panel fornisce, giustamente, il numero di esperti utilizzati, e gli stranieri risultano 85 su 720, un po’ troppo pochi per dare una vera garanzia di assenza di autoreferenzialita’.
Il giudizio sui “prodotti” risulta fortemente spostato verso l’alto, con piu’ del 70% dei giudizi tra “buono” ed “eccellente”, con un massimo di 87.5% per Areospace Engineering (c’e’ un 90% per Metallurgy, ma basato su solo 10 “prodotti” totali) ed un minimo di 57.2% per Engineering Mathematics. Vi e’ pero’ una abbondante casistica di giudizi difformi tra gli esperti, con un numero affatto trascurabile di casi di differenze massime (limitato-eccellente). In questi casi il panel ha “promosso” alla categoria superiore tipicamente piu’ del 50% dei “prodotti” controversi.
Pur non potendo ovviamente verificare sui dati originali, devo pero’ confessare che il giudizio complessivo di questo panel mi sembra spostato significativamente verso il lato “buonista”.
Vi e’ anche un discreto numero di brevetti, manufatti, progetti e risultati di valore applicativo, giudicati complessivamente piu’ che buoni (70.3% tra “buono” ed “eccellente”) ma di cui non si forniscono altre informazioni. Anche in questi casi e’ abbastanza ampio lo spread di giudizio tra i due esperti che hanno giudicato ogni “prodotto”.
Non viene fornito alcun giudizio separato sull’internazionalizzazione dei vari “prodotti”.

Panel 10 – Scienze dell’Antichita’, Filologico-Letterarie e Storico-Artistiche

Su questo argomento la mia ignoranza raggiunge probabilmente il suo punto piu’ profondo. Mi limito quindi a riportare che, anche se non vengono forniti numeri, la relazione del panel lascia intendere un uso abbondante di esperti stranieri. Il giudizio finale sui “prodotti” e’ estremamente alto, con il 50% di “eccellenti” e piu’ del 30% di “buoni”.
L’unico aspetto negativo evidenziato e’ la difficolta’ a reperire esperti per certi settori e ad ottenere una risposta in tempi definiti, per cui si invita il CIVR a rivedere i data base, a precisare meglio i compiti e ad adeguare i compensi.

Panel 11 – Scienze Storiche, Filosofiche, Pedagogiche e Psicologiche

La relazione finale di questo panel e’ estremamente ben fatta. Senza entrare in analisi specialistiche esasperate, riesce a dare, in modo semplice ma chiaro ed analitico, il panorama globale dei problemi posti dalla valutazione di questa area, che e’ probabilmente la principale del settore umanistico.
Poiche’ la mia competenza in merito e’ minima, ritengo che non sia il caso che cerchi di dare un riassunto di quello che e’ gia’ un capolavoro di concisione e di chiarezza, per cui invito tutti gli interessati a leggere direttamente le 7 pagine originali, cui fanno seguito alcune tabelle utili per gli specialisti.
Anche chi non e’ “del mestiere” potra’ trovare molti spunti interessanti in questa relazione, come il rapporto tra il tradizionale strumento del libro ed il piu’ moderno articolo su rivista, con una chiara, anche se di parte, esposizione dei pro e contro.
Una relazione che mi ha veramente colpito per la sua onesta’ e chiarezza, anche nei giudizi di merito per le varie discipline, di cui si evidenziano, sia pure con poche parole, punti di forza e punti deboli.
Anche i suggerimenti al CIVR per le prossime valutazioni dimostrano il buon senso che ha guidato il panel nel suo lavoro.

Panel 12 – Scienze Giuridiche

Anche in questo caso la mia competenza e’ al suo minimo, per cui mi limito a riportare i giudizi del panel con solo qualche commento generale.
Il panel si lamenta dell’elevato numero di “prodotti” da valutare, anche per non meglio precisate defezioni da parte di panelisti, non compensate con sostituzioni. Pero’ il numero di “prodotti” e’ assolutamente in linea con l’elevato numero di Ricercatori ETP del settore che, essendo tutti universitari, sono “pesati” per la meta’. E’ forse il settore ad essere eccessivamente numeroso.
Il giudizio di qualita’ sui “prodotti” risulta sostanzialmente buono, anche se sono piu’ carenti del dovuto quelli giudicati “eccellenti”.
La discussione piu’ interessante e’ quella sulla cosiddetta internazionalizzazione che, per molti degli esperti che hanno dato il loro giudizio, si concentra nell’uso di una lingua straniera, specialmente per discipline come Diritto Comunitario o Diritto Internazionale dove una apertura a letture esterne sarebbe auspicabile. L’uso di una lingua straniera nelle pubblicazioni sottoposte alla valutazione e’ invece estremamente ridotta, tanto da indurre il panel, nella sua relazione, a cercare una giustificazione che sposti l’internazionalizzazione verso il contenuto, piuttosto che la forma. Cosa su cui si potrebbe convenire in generale ma che qui, nelle condizioni oggettive del settore, sembra sostanzialmente un tentativo di smussare un evidente problema.
Sono poi presentate delle appendici in cui vengono esaminati in modo specifico i vari settori. Molto interessanti da leggere, perche’ sono resi evidenti le differenze di qualita’ e di impegno che esistono anche in questa disciplina, ma difficili da commentare per la mia incompetenza specifica.
Tutto sommato, nonostante evidenti sforzi, mi sembra il panel piu’ autoreferenziale dell’intero gruppo.

Panel 13 – Scienze Economiche e Statistiche

La relazione di questo panel e’ l’esempio migliore dei problemi che sarebbero potuti sorgere per molte discipline in questa tornata di valutazione ma che, per fortuna o piu’ probabilmente per molto buon senso dei panelisti, non sono sorti. Nell’area dell’Economia, pero’, il confronto e’ risultato molto piu’ netto, ed il dissidio e’ esploso.
Vale sicuramente la pena esaminare un poco piu’ nel dettaglio la relazione di questo panel, senza pero’ cercare di dare un giudizio sul dissidio che lo ha diviso, non tanto per mancanza di competenza, perche’ alcuni aspetti della contrapposizione sono abbastanza generali da poter essere colti anche da persone non specialiste in economia, ma in quanto non e’ il caso particolare che mi interessa evidenziare, ma il problema ben piu’ generale della contrapposizione ideologica che in molti settori e’ sempre possibile. L’intera relazione del panel consta di ben 35 pagine, perche’ oltre alla relazione generale, ci sono le appendici specialistiche dei tre gruppi di consenso in cui il panel era diviso, cui segue una illustrazione del proprio dissenso da parte di un panelist, e la relativa controdeduzione del responsabile del gruppo di consenso relativo. La maggior parte di queste relazioni sono in inglese.
Dalla relazione generale si ricava una sostanziale disomogeneita’ tra i tre settori in cui il panel e’ stato diviso, per due aspetti principali: la sub-area “management” presenta il 78% dei suoi “prodotti” come libri, capitoli di libri o articoli pubblicati su riviste senza Impact Factor (IF), mentre per la sub-area “matematica” il 78% dei “prodotti” e’ su rivista con IF (e solo il 6.5% sono libri o capitoli di libri). La terza sub-area, “economia”, sta nel mezzo, con il 56% di “prodotti” come articoli su rivista con IF e il 27.7% libri o capitoli di libri. Molto analogamente e quasi conseguentemente (tutte le riviste con IF sono in inglese), il 56% dei “prodotti” “management” e’ in lingua italiana, mentre lo e’ solo lo 0.5% dei “prodotti” di “matematica”. “Economia” e’ ancora una volta nel mezzo, con il 16% dei “prodotti” in italiano.
Il risultato di queste differenze, tenendo conto delle indicazioni del CIVR per la valutazione dei prodotti, ed in particolare la loro “internalizzazione”, e’, secondo il panel, una decisa migliore valutazione per gli articoli su riviste con IF, con i capitoli di libri in italiano all’estremo opposto. Libri ed articoli su riviste senza IF cadono nel mezzo. Secondo la relazione del panel, questo risultato e’ valido per tutti i settori e tutti i panelist. Sembrerebbe quindi poco influente la differenza di scelta degli esperti, che qualche panelist ha preferito essere appartenenti ad istituzioni estere (anche se quasi tutti italiani), mentre altri hanno puntato sopratutto su esperti provenienti da universita’ italiane.
Come conseguenza di questa differenza di valutazione, nel panel si e’ aperta una discussione che ha implicazioni molto generali e quindi merita di essere analizzata con attenzione. L’argomento della discussione era sostanzialmente se il prestigio (alto IF) di una rivista influenzasse il giudizio positivo sugli articoli che vi venivano pubblicati o il prestigio derivava dal pubblicare solo articoli di alto livello. Discussione che potrebbe trovare spazio in ogni settore scientifico, e che non si e’ avuto negli altri panel perche’ e’ stato credo sempre implicitamente risolto a favore della seconda ipotesi, che e’ comunque quella piu’ probabile, o perlomeno quella piu’ auspicabile per la credibilita’ del mondo scientifico in generale.
Ma la “scienza economica” ha poco di scientifico, almeno per ora, e subisce invece molto l’influenza ideologica, presentando al contempo un notevole impatto pratico e una forse eccessiva influenza sulla politica. Non e’ quindi strano che in questo caso il dubbio possa aver preso una concretezza maggiore fino ad arrivare ad uno scontro non mediabile tra panelisti.
Rimane il fatto che il dubbio posto non e’ chiaramente falso, e che una attenzione particolare dovra’ essere posta nei futuri cicli di valutazione non solo per questo settore, ma anche per altri in cui l’influsso di specifiche “mode dominanti” possono determinare l’esito della valutazione stessa.
L’analisi dei tre sottogruppi e’ presentata in modo molto dettagliato, non solo nella relazione generale, ma anche in specifiche appendici per ognuno dei sottogruppi.
Nel sottogruppo di “management”, l’utilizzo dei criteri di valutazione indicati dal CIVR ha evidenziato l’esistenza di aree in cui predomina una notevole autoreferenzialita’, poco o per nulla aperte all’internazionalizzazione della ricerca. Risulta comunque evidente che, almeno in questo settore, anche se la pubblicazione di articoli su riviste con IF da’ la maggiore percentuale di valutazione alta, non mancano libri o capitoli di libri, pubblicati da editori intarnazionali, che hanno ottenuto valutazioni alte. Anche una dozzina di lavori in italiano hanno raggiunto questo livello. Il gruppo di consenso ritiene che il puntare su standard di valutazione a livello internazionale sia un elemento di forte stimolo per lo sviluppo anche dei settori ancora piuttosto chiusi.
Al contrario, nel sottogruppo “statistica” si e’ avuto un facile consenso tra esperti e panelist nel giudizio dei vari “prodotti”, aiutati dal fatto che erano in maggioranza articoli su riviste con IF e quindi in inglese.
Il dissidio piu’ violento, che si e’ poi tradotto in una specie di relazione di minoranza e relativa controrelazione, si e’ avuto nel sottogruppo di “economia”, probabilmente proprio per la presenza contestuale di entrambi gli aspetti citati.
Da queste appendici e’ possibile capire meglio il termine del disaccordo. Uno dei panelisti, supportato solo parzialmente da un altro paio, sostiene che vi sia una specie di dominanza da parte della versione della teoria economica derivante dagli Stati Uniti, cui si riferisce la maggior parte, se non la totalita’, delle riviste considerate piu’ prestigiose. Questa dominanza pone ai margini, e quindi con minore considerazione, altre versioni o modi di vedere dell’economia, che in assoluto potrebbero avere analoga o anche maggiore importanza. Il porre l’accento sull’internalizzazione di un “prodotto” corrisponde di fatto a confrontarlo con la versione maggioritaria, dando una valutazione maggiore se confacente ad essa e minore se appartenente ad una corrente alternativa.
La controrelazione ovviamente nega che un aspetto del genere esista e che comunque non ha influenzato il processo di valutazione.
Non ho assolutamente elementi per poter giudicare la validita’ di una o dell’altra tesi, sia per incompetenza personale, sia per mancanza di accesso ai documenti in questione. Pero’ posso onestamente dire che in linea di principio questa possibile dominanza di una “visione” piu’ o meno ideologica e’ possibile, e non solo per l’economia.
Credo che nel futuro, nei prossimi cicli di valutazione, questo aspetto debba essere considerato con particolare attenzione, perche’, nonostante sia questa volta esploso solo in questo panel, puo’ benissimo apparire in molte altre situazioni.

Panel 14 – Scienze Politiche e Sociali

Considerando che il tema di questo panel entra a pieno diritto tra quelli di mia massima incompetenza, devo comunque dire che la lettura della relazione finale offre alcuni spunti comprensibili a tutti e utili per considerazioni generali.

Il giudizio finale del panel e’ sostanzialmente negativo. La maggioranza dei “prodotti” presentati sono libri in italiano, dimostrando la mancanza di ogni selezione “a priori” nella pubblicazione. La “proprieta’ “ dei “prodotti” e’ elevatissima, spesso dovuta al fatto che vi e’ un singolo autore. Sembra cioe’ completamente ignorata la tendenza internazionale alle collaborationi tra autori ed istituzioni.

La relazione da’ poi alcuni elementi dettagliati per favorire una evoluzione positiva del settore. Ma il giudizio finale, anche quando non e’ esplicitamente esposto, ma solo lasciato intuire, e’ estremamente negativo.

Tenendo conto che e’ un giudizio espresso da persone che di quel sistema fanno parte, perche’ gli esterni erano pochi, e’ un giudizio da tener presente attentamente.

Panel 15

Sotto questa voce sono state poste attivita’ di ricerca che non rientravano negli standard del CUN, ma che il CIVR ha ritenuto avere autonomia sufficiente da avere un criterio di valutazione dedicato.
Devo dire che la suddivisione mi sembra molto discutibile, con settori identificati piu’ per fantasia che per reale importanza, o forse solo per la presenza di qualche diretto interessato nel ristretto numero di chi ha deciso.
Credo che una revisione di queste classificazioni sia assolutamente necessaria, per evitare situazioni che possono sfociare nel ridicolo.

Panel 15a =- Scienze e Tecnologie per una Societa’ dell’Informazione e della Comunicazione

Questa classificazione mi sembra assolutamente ambigua, perche’ mentre ammette al suo interno alcuni settori di assoluto valore scientifico ed applicativo, apre anche la porta a quella che viene chiamata “Scienza della Comunicazione” e che e’ invece una gigantesca presa in giro. A questo livello di valutazione, hanno predominato i “prodotti” dovuti alle vecchie e valide classificazioni, ma temo che nel futuro questo panel, se non verra’ adeguatamente suddiviso, sara’ sommerso dal nulla ben inquadrato nella teoria che si basa solamente sul numero di studenti disponibili a farsi prendere in giro.
Non voglio nascondere assolutamente la mia opinione che l’attuale “Scienza della Comunicazione”, al di la’ di alcune banali analisi strutturali, che corrispondono allo scoprire l’acqua calda, alimenti solo alcune ambizioni accademiche e politiche individuali. Non vedo molta scienza in tutto quello che si svolge sotto quell’etichetta.
Il giudizio del panel, tenendo conto che si riferisce sostanzialmente ai “vecchi” settori, e’ sostanzialmente buono, con alcune punte di eccellenza.
Il panel mette anche in evidenza l’effetto della scelta degli esperti, scelta che non e’, ne’ puo’ essere, neutra.

Panel 15b – Scienze e Tecnologie per la Qualita’ e la Sicurezza degli Alimenti

E’ uno dei nuovi settori che mi sembra del tutto fuori posto come aspetto scientifico e, probabilmente, del tutto inutile.
La relazione del panel, nella sua assoluta anonimita’, sembra darmi totalmente ragione

Panel 15c – Scienze e tecnologie dei Nano/Microsistemi

Anche questo e’ un settore di cui si fa notevole fatica a capirne la necessita’.
Se pero’ si tiene conto che il governo in carica nello stesso periodo della valutazione ha fondato l’Istituto Italiano di Tecnologia, dotato di finanziamenti che, dal punto di vista delle strutture di ricerca “tradizionali” , possono apparire anche eccessivi, e che “avrebbe” le nanotecnologie come uno degli obiettivi prioritari, anche la creazione di questo settore puo’ essere capito.
Le nanostrutture sono sicuramente importanti, non solo scientificamente, ma specialmente per le loro potenzialita’ applicative. Ma questo non credo basti per aprire un settore di valutazione dedicato, tenendo inoltre conto dell’arretratezza italiana. Penso si debba fare molto di piu’ nel favorire queste ricerche e il loro utilizzo industriale, senza pero’ passare per megastrutture create ad hoc come l’IIT, prima di pensare alla creazione di settori separati di valutazione.
L’impressione che ne ho avuto e’ ovviamente quella di una lobby potente che ha trovato il canale politico giusto per farsi finanziare al di fuori dei modi tradizionali e di avere una propria sede di valutazione, probabilmente, ma questa e’ sicuramente una cattiveria gratuita, controllata dalle solite persone.
Poiche’ in ogni caso il settore e’ vivo ed importante, anche al di la’ delle beghe politico/finanziarie, la relazione del panel e’ molto positiva.
La relazione, molto dettagliata, mette in evidenza elementi comuni tra i vari panel realmente scientifici, come la difficolta’ ad avere risposte da esperti stranieri, anche se la loro scelta sarebbe altamente auspicabile.
La collocazione dei “prodotti”, tipicamente articoli su riviste internazionali, e’ mediamente nel settore alto, ma viene giustamente fatto osservare che un alto IF della rivista su cui un articolo e’ pubblicato, non e’ correlato necessariamente alla qualita’ dell’articolo.
Dimostrazione questa di un evidente effetto di cui ho ampiamente parlato, ma che in alcuni settori in cui il giudizio di qualita’ ha meno elementi oggettivi su cui basarsi, ha prodotto grossi problemi e anche litigi tra i panelist.
Non entro nel dettaglio dei giudizi perche’ estremamente specialistici. Che poi e’ il vero problema del panel stesso.

Panel 15d – Scienze e tecnologie aereospaziali

Anche questo e’ un panel ultraspecialistico di cui si fa fatica a capire la necessita’. La sua stessa natura introduce inoltre un elemento di discussione tra scienza e tecnologia che questa struttura di valutazione non e’ certo in grado di affrontare e risolvere.
La relazione finale e’ in linea con l’inutilita’ del panel. Praticamente non dice niente.

Panel 15e – Scienze e tecnologie per lo sviluppo e la governance sostenibili: aspetti economici, sociali, energetici ed ambientali

Un tema completamente “verde”, che ovviamente non ha ancora, ammesso che possa mai averlo, una sistemizzazione organica, che cioe’ sia facile capire cosa appartiene a questo settore e cosa no. Al momento questo non e’ il caso, e l’ammissione di “prodotti’ a questo panel credo abbia seguito piu’ il criterio di “se non puo’ andare da un’altra parte” che un criterio di aggiudicazione positiva. Ma forse sono solo malignita’ mie.
Il giudizio finale del panel e’ molto disomogeneo, perche’ molto diverse sono le categorie di “prodotti” sottoposti a questo panel, anche se il numero totale e’ abbastanza ridotto.
Alcuni “prodotti” avrebbero potuto essere presentati a panel piu’ tradizionali, ma sicuramente l’insieme cosi’ ottenuto non e’ del tutto insignificante, anche se dimostra la scarsa attenzione al problema ambientale dell’istituzione accademica italiana. Niente che gia’ non si sapesse, d’altronde.
La mia personale analisi globale dei giudizi sui singoli argomenti fatta dal panel e’ che siamo di fronte ad un settore minoritario, senza un obiettivo chiaro, forse sbagliato come scelta di settore.

Panel 15f – Scienze e Tecnologie per la Valutazione e la Valorizzazione dei Beni Culturali

Un elemento che mi e’ parso sostanziale della relazione di questo panel e’ il porsi il problema di a cosa servisse questa valutazione stessa. Mi sembra che il problema sia stato posto perche’ sostanzialmente nel settore non se ne capisce l’utilita’.
Al di la’ delle considerazioni del panel, dei possibili litigi tra esperti che sembrano trasparire, rimane una sensazione globale di autoreferenzialita’ dominante.
In altri e piu’ precisi termini: con chi, o contro chi, si deve confrontare questo settore?
Esiste un confronto internazionale, un mondo al di fuori dell’accademia italiana con cui bisogna alla fine fare i conti?
Dalla relazione del panel non se ne ha traccia.

Conclusioni

Questa tornata di valutazione e’ stata estremamente efficace, anche perche’ ha messo in luce dei problemi che devono essere risolti prima che la valutazione diventi una prassi scontata e continua.
Al di la’ dei problemi generali, legati alla necessaria trasparenza delle nomine dei panelist, e dei relativi esperti, pur nella assoluta necessita’ dell’anonimato del referaggio specifico, che sembrano essere stati recepiti, almeno nelle linee generali, dall’attuale ministro, e che dovranno trovare applicazione nella Agenzia per la Valutazione che si vuole istituire, credi sia produttivo che indichi anche io i problemi che mi sembra di aver colto nella lettura di questa relazione generale.
Che queste osservazioni poi servano veramente a qualcosa e’ un altro discorso.
Partendo dagli aspetti piu’ generali, mi sembra non perfettamente adeguato il numero di “prodotti” richiesto per questa tornata di valutazione, anche se doveva essere un primo “esercizio”. Richiedere la presentazione di un “prodotto” per ogni due “ricercatori equivalenti”, che per le universita’ significano quattro docenti, e riferiti ad un periodo produttivo di tre anni, significa richiedere un lavoro per ogni dodici anni-uomo. Un valore estremamente basso, che puo’ facilmente nascondere sacche di inefficienza non tollerabili. Il discorso letto qui e li’ nelle varie relazioni, che si trattava di valutare l’eccellenza, non sta in piedi se si vuole veramente usare i risultati della valutazione nell’assegnazione di fondi e persone, perche’ deve diventare un giudizio di valore globale sulla struttura e non su qualche, magari occasionale, punta di eccellenza. Inoltre questa volta, ma probabilmente l’esperienza sara’ una severa maestra, alcune strutture hanno presentato una gamma di “prodotti” tali da coprire l’intero spettro delle proprie attivita’, anche a scapito della qualita’ totale, mentre altre hanno inviato solo il meglio, anche se concentrato su alcuni settori. E’ necessario che questo criterio venga stabilito com maggiore esattezza da parte del CIVR, e la mia preferenza va ovviamente verso una copertura uniforme delle attivita’, perche’ anche le debolezze devono essere evidenziate.
La composizione dei panel e’ ovviamente un elemento essenziale, che non credo sia stato molto equilibrato in questo esercizio, anche se non si sono notati effetti particolari, magari perche’ si era ancora in una fase di “esercizio” e non si avevano reali effetti pratici. La nuova Agenzia dovra’ curare questo aspetto molto attentamente. Inoltre il modo di affrontare il problema della valutazione e’ stato estremamente diverso da panel a panel, molto al di la’ delle differenze dovute ai diversi argomenti. Il CIVR (o l’Agenzia) dovrebbe dare indicazioni molto piu’ precise, per evitare l’effetto di autonormalizzazione, e rendere possibile anche il confronto tra panel diversi. So benissimo che e’ un argomento delicato, perche’ tocca elementi sensibili, ma se si vuole fare una valutazione veramente comparativa, bisogna mettere sotto controllo anche questi elementi.
Entrando poi nel dettaglio dei problemi emersi, risalta la difficolta’ di definire univocamente il grado di “internazionalizzazione”. In alcuni panel questa ambiguita’ ha comportato grosse discussioni, e si e’ sicuramente avuto una fortissima differenza tra panel e panel. Essendo un criterio essenziale per giudicare il livello della ricerca, e’ assolutamente necessario che il suo criterio di giudizio venga precisato molto meglio, prendendo esempio dalle discussioni che si sono avute questa volta per valutare i metri di giudizio piu’ opportuni.
C’e’ poi un aspetto che consegue dalle analisi di tutti i panel che credo meriti una attenta considerazione. I valori massimi di valutazione si sono avuti per articoli scritti in inglese su riviste internazionali con alto IF. A parte la mia opinione, non tanto isolata, che l’IF non e’ ne’ puo’ essere un buon elemento di valutazione di qualita’, e prima verra’ eliminato da ogni considerazione, meglio sara’, rimane il fatto che la pubblicazione di articoli su rivista riceve il massimo riconoscimento. Questo si traduce in un giudizio di ottima qualita’ della produzione scientifica italiana, ma non ha la minima ricaduta sullo sviluppo economico della nazione. L’utilizzo pratico delle informazioni scientifiche contenute in articoli su rivista richede strutture tipiche di grandi aziende, che possono permettersi la presenza di persone di alta qualificazione scientifica, e quindi in grado di capire gli articoli, con il compito di tradurli in possibili prodotti industriali. Nulla che la nostra miriade di piccole e medie (piu’ piccole che medie) industrie sia in grado di fare. Un altro elemento nella stessa direzione e’ l’osservazione fatta da diversi panel della scarsita’ di brevetti presentati per la valutazione. E’ vero che in mancanza di indicazioni precise da parte del CIVR, e di una “fattorizzazione” dei “prodotti”, per cui ai brevetti potrebbe essere assegnata una valutazione a se’ stante, ottenibile solo con brevetti, non e’ ovviamente chiaro se brevetti non ce ne sono stati o non sono stati presentati. Un argomento spesso molto utilizzato e’ che l’industria non ha alcun vantaggio nel brevettare qualcosa, ma preferisce sfruttare l’anticipo di conoscenza. Non ho competenze per valutare questo fatto, ma rimane l’impressione di un paese che ha una produzione scientifica di notevole livello, i cui frutti vengono utilizzati da altri. Credo che il CIVR debba assolutamente prendere in considerazione questo elemento e modificare i parametri di valutazione per dare il giusto peso alla “resa” dell’attivita’ scientifica.
La considerazione piu’ forte da tutta questa valutazione, e cioe’ la enorme carenza di ricerca applicata, e’ un tema ormai molto discusso, e non credo sia il caso di riparlarne qui. Rimane il piu’ grosso problema della ricerca scientifica in Italia.
Un’ultima considerazione riguarda il meccanismo di classificazione. Io ho accuratamente evitato di far riferimento alle tabelle di rating presentate da ogni panel. La ragione e’ che queste classificazioni sono effettuate, secondo me, con parametri molto discutibili, e non hanno, al momento, alcun significato reale. Purtroppo ogni volta che una classifica e’ presentata, diventa automaticamente l’elemento predominante, l’unico che viene colto dal pubblico. Anche quando, come in questo caso, e’ fondamentalmente fuorviante. Prima di tutto per il principio di valutazione, molto approssimativo, ma sostanzialmente per la suddivisione in “dimensioni” di strutture che non solo e’ arbitrario, ma e’ anche sbagliato, essendo basato sul numero dei “prodotti” presentati, che e’ libero a discrezione delle strutture stesse, e non alla dinesione reale delle strutture, come credo sia l’unico elemento obiettivo. I gradi di suddivisione, essendo arbitrari, sono difficili da contestare, ma credo sia evidente a tutti l’arbitrarieta’ di alcune situazioni.
Io credo che si debba invece fare una unica classificazione, con un parametro che misuri l’efficienza media di ogni struttura, grande o piccola che sia, con inoltre ben chiaro che le strutture troppo piccole sono di per se’ stesso un problema.
Piccolo non e’ affatto bello.

Un commento finale: ho usato dovunque in questa nota, a meno che non mi sia sfuggito qualche caso, il termine “prodotti” tra virgolette. Ritengo questo termine una delle peggiori scelte che il CIVR possa aver fatto. Una concessione all’interpretazione aziendalista della ricerca che ha avuto spazio negli ultimi anni, ma che spero sia destinata a scomparire.

Torna a : Scienza, Home Page