L’Unione Europea, resasi conto che le valutazioni quantitative della ricerca producono solo quantità, ha sollecitato valutatori, università, enti di ricerca e società scientifiche a unirsi in una coalizione per la riforma della valutazione stessa (COARA) a cui ha aderito anche l’ANVUR. Entrando in COARA, l’ANVUR si è impegnata a trattare la bibliometria come complementare rispetto a forme di valutazione qualitativa che richiedono di leggere i testi. Ma le sue azioni e i suoi piani d’azione vanno in tutt’altra direzione: nei settori delle scienze umane e sociali ha conservato le liste di riviste di produzione amministrativa e in quelle delle scienze matematiche, mediche, fisiche e naturali continua ad accettare criteri bibliometrici calcolati su banche dati proprietarie. Questi criteri sono imposti perentoriamente per selezionare gli aspiranti candidati e commissari all’Abilitazione Scientifica Nazionale, e gli esperti valutatori nell’esercizio quinquennale della valutazione della ricerca detto VQR; e la prescrizione di impiegarli in modo formalmente complementare nel giudizio sulle opere esposte alla VQR è, nel segreto della revisione anonima, facilmente aggirabile.
Perché l’ANVUR non onora la sua firma? Forse perché non è un’autorità indipendente e COARA ha semplicemente sbagliato ad accoglierla in luogo del Ministero dell’Università e della ricerca? La letteratura prodotta da studiosi praticamente e teoreticamente vicini alla valutazione di stato suggerisce però almeno un’altra ipotesi: una valutazione basata sul primato della revisione paritaria, richiedendo di leggere i testi, non può essere di massa e, secondo qualcuno, è influenzabile da idiosincrasie personali sia nella scelta dei valutatori, sia nelle loro valutazioni. Per questo un’agenzia di valutazione di stato e di massa come quella italiana non può evitare di abbarbicarsi alla bibliometria, sia perché ha bisogno di armi di valutazione di massa per conservare il proprio pervasivo potere, sia perché, dietro un velo di statistiche, automatiche e no, è più facile nasconderne la natura autoritaria.
1. La bibliometria nella VQR 2020-2024
Soprattutto quando è gerarchica e pervasiva come quella italiana, la valutazione di stato della ricerca è un atto di sfiducia nella libertà dell’uso pubblico della ragione, il quale delegittima sia le università e gli enti di ricerca statali – rappresentati come così scadenti da aver bisogno di una valutazione esterna alla discussione scientifica – sia il governo che la impone per via non scientifica bensì amministrativa.
Molte valutazioni di stato, avendo forza ma non scienza, usano criteri bibliometrici, senza considerare ciò che gli studiosi scrivono, incomprensibile alle amministrazioni, bensì la quantità di pubblicazioni, le loro sedi e il numero delle loro citazioni. Perfino l’Unione Europea si è ora resa conto che le valutazioni quantitative ottengono esattamente ciò di cui impongono la misura, vale a dire non qualità ma quantità, e patrocina una coalizione, COARA, allo scopo di riformarle. Gli impegni principali di chi vi aderisce sono:
- riconoscere la varietà dei contributi e delle carriere dei ricercatori
- fondare la valutazione della ricerca in primo luogo su valutazioni qualitative incentrate sulla revisione fra pari, sostenute da un uso responsabile di indicatori quantitativi
- abbandonare l’uso inappropriato, nella valutazione della ricerca, di metriche basate su riviste e pubblicazioni, quali il JIF e l’ H-index
- evitare l’uso delle classifiche (ranking) delle organizzazioni di ricerca nella valutazione della ricerca
La riforma europea riguarda il modo in cui si valuta, come se fosse solo un problema tecnico, senza affrontare esplicitamente la questione di chi, per quale scopo e con quale legittimazione valuta. Così hanno aderito a COARA anche agenzie di stato quali l’ANVUR, che hanno imposto e usato forme di valutazione prevalentemente bibliometriche.
Avevamo già notato che ANVUR è riuscita a disattendere i pur lati impegni 2 e 3, imponendo requisiti bibliometrici perentori e non complementari sia a commissari e concorrenti nell’Abilitazione Scientifica Nazionale, sia agli esperti valutatori nominabili o sorteggiabili nell’esercizio quinquennale di valutazione di università ed enti di ricerca burocraticamente noto come VQR 2020-2024.
I criteri successivamente annunciati dai singoli gruppi di esperti valutatori per la VQR 2020-2024 rispettano formalmente gli impegni di COARA. Infatti:
nell’esercizio di Valutazione della Qualità della Ricerca VQR 2020-2024 il GEV valuta la qualità di ciascun prodotto con la metodologia della peer review, o revisione tra pari […]. Tale approccio tiene anche conto di quanto previsto dalla seconda raccomandazione della Coalition for Advancing Research Assessment, secondo la quale la valutazione deve essere principalmente basata su aspetti qualitativi, per i quali è centrale il ruolo della revisione tra pari supportata da un uso responsabile degli indicatori di tipo quantitativo.
Bisogna però chiedersi se nei cosiddetti settori bibliometrici questo rispetto non sia esposto al rischio di essere solo pro forma. Gli indicatori citazionali, calcolati su costose banche dati proprietarie in mano a oligopolisti commerciali quali Elsevier (Scopus) e Clarivate Analytics (WoS) “informano” la revisione fra pari: possono, cioè, essere usati a suo sostegno pur senza determinarla automaticamente. Nulla, però, impedisce che, nel segreto dell’anonimato, l’informazione bibliometrica possa rimanere determinante, senza che occorra affannarsi a leggere gli articoli con attenzione e motivare i propri giudizi, essendo ormai diffusa l’abitudine a ricorrere a sistemi di generazione di testi statisticamente probabili ma privi di qualsiasi senso comunicativo venduti col nome di “intelligenza artificiale”. Anche i commissari ASN sono affetti da un carico di lavoro tale da esporli alla tentazione di ricorrere a simili strumenti: ma, essendo il loro nome noto, devono anche assumersene pubblicamente la responsabilità. Perché, invece, ai valutatori della VQR si riconosce il privilegio di sottrarsene?
2. Un compromesso fragile
Gli impegni 2 e 3 di COARA insistono sul primato, nella valutazione della ricerca, della revisione fra pari, che richiede di leggere i testi, senza però escludere il sostegno di criteri “quantitativi” e basati su riviste e pubblicazioni, purché usati responsabilmente e appropriatamente. Ma se si è riconosciuto che per valutare i ricercatori occorre leggere e capire i testi, come è possibile usare “responsabilmente” – non è chiaro verso chi – e “appropriatamente” indicatori che non richiedono né lettura né comprensione? In che modo e in che grado la popolarità entro un recinto di costose riviste in mano agli oligopolisti dell’editoria commerciale può essere trattata come complementare? O, ancora più radicalmente: lo scopo di perseguire la qualità della ricerca può essere davvero complementare a quello di farsi pubblicare e citare dalle riviste di questo recinto, a dispetto della generale inaffidabilità delle letteratura prodotta sotto la pressione del publish or perish e della bibliometria e in condizioni tali che la ricerca “is not about curiosity anymore, it’s just a career”?
Un articolo recente, The forced battle between peer-review and scientometric research assessment: Why the CoARA initiative is unsound, aiuta ad affrontare questi dubbi: la bibliometria non valuta la qualità della ricerca, bensì il suo impatto. “Like any goods producer, more is needed for a researcher than merely producing high-quality research products; instead, they must be disseminated effectively, akin to the necessity for selling goods”: il buon ricercatore, come chiunque produca merci, deve saper vendere i suoi prodotti, e la bibliometria misura questa sua capacità. Appunto, “it is not about curiosity anymore, it’s just a career.” “Would a company” – ci si chiede retoricamente – “ever evaluate the success of a product already launched in the market by convening expert panels instead of relying on quantitative sales analysis?” Capita, in commercio, che prodotti mediocri, efficacemente promossi, abbiano tuttavia un grande successo. Ma, se si ordina che il ricercatore debba vendersi – o meglio regalarsi – in uno pseudomercato oligopolistico perché amministrativamente imposto e circoscritto, dobbiamo trattare gli esiti letterari della ricerca come output di sistemi di produzione di massa e non come pezzi unici. E quando si tratta di fare valutazioni di massa di produzioni di massa, dobbiamo riconoscere – sostiene l’articolo – che una valutazione qualitativa, in queste condizioni di sovraccarico, diventa inaffidabile se non impossibile.
L’uso della bibliometria, come arma di valutazione di massa, è dunque inevitabile? Sì, ma solo se si pretende di continuare a fare valutazioni di massa.
3. Una questione politica
Il primato della revisione fra pari che è fra gli impegni di COARA può essere applicato sistematicamente solo a una condizione: che la valutazione di massa sia ridotta al minimo se non eliminata. E qui l’interesse dell’ANVUR, la cui ragion d’essere e il cui straordinario potere dipendono in gran parte dalla valutazione di massa, non coincide necessariamente con quello della scienza.
Non sorprendentemente, molti atti dell’agenzia hanno violato gli impegni che aveva sottoscritto. E anche il suo recentissimo piano d’azione per l’attuazione di COARA persevera in forme di valutazione di massa bibliometriche, basate sul contenitore (journal-based) anziché sul contenuto: il mantenimento di un sistema di liste di riviste la cui scientificità ed eccellenza sono definite direttamente o indirettamente dall’ANVUR stessa (pp. 6, 7, 10) è dato per scontato e non ci si interroga mai, neppure genericamente, su un’emancipazione dalle banche dati proprietarie di Elsevier e Clarivate Analytics.
Anche se nel piano (p. 2) l’ANVUR si rappresenta come indipendente, giuridicamente – lo ricorda Roberto Caso (pp. 9 ss) – non lo è. Così scrisse, nel 2008, Fiorella Kostoris:
l’indipendenza dell’ANVUR è minata dalla mancanza di terzietà rispetto all’Esecutivo e dagli eccessi di controlli da parte dei vari stakeholders: tutti i membri del suo Consiglio Direttivo sono, infatti, scelti direttamente o indirettamente dal Titolare del MUR e a lui o al suo Dicastero riportano, segnalano, propongono.
Stando così le cose, è possibile che l’ANVUR eluda la sostanza degli impegni che ha firmato non perché non vuole, bensì perché non può. E che COARA abbia semplicemente sbagliato a includerla in luogo di chi veramente prende le decisioni, vale a dire il ministero dell’università e della ricerca.
E tuttavia, dalla parte italiana, si possono immaginare motivi profondi perché in COARA sieda un’agenzia esecutrice di ordini abbarbicata alla bibliometria che si fa passare come indipendente. Il già menzionato The forced battle between peer-review and scientometric research assessment: Why the CoARA initiative is unsound osserva che la revisione fra pari è fortemente influenzata dai pregiudizi personali, e perciò conviene affidarsi a oggettivi professionisti della bibliometria, eventualmente coadiuvati da SALAMI, che trattano gli scienziati come “risorse limitate” il cui impiego deve essere “ottimizzato”.
Resistiamo alla tentazione di rispondere che l’uso di statistiche automatizzate e no come armi di valutazione di massa aggrega pur sempre pregiudizi soggettivi. Autori che vantano un lungo impegno a favore della valutazione di stato si sono infatti chiesti: come è possibile riformare la valutazione della ricerca secondo le indicazioni europee, bilanciando o addirittura rimpiazzando la bibliometria? E si sono fatti rispondere che bisogna valutare le virtù dei ricercatori, vale a dire le loro motivazioni stabili e i tratti del loro carattere. Ma investire, nella patria di Giovanni Gentile, un’agenzia di nomina governativa del compito di giudicare le virtù dianoetiche ed etiche dei ricercatori potrebbe far tornare alla memoria il ricordo novecentesco – forse per alcuni gradito – dello stato etico.
Che avverrebbe se un’agenzia non indipendente nominata dal governo giudicasse gli addetti alla ricerca per il loro carattere, stilando classifiche delle istituzioni più ricche di virtù? Avverrebbe che la natura autoritaria della valutazione di stato diventerebbe molto più evidente. Di contro, un velo esoterico di statistiche, preferibilmente basate su dati chiusi e proprietari, consente di devolvere il tempo altrui in onerose procedure amministrative e in impotenti discussioni fra sottomessi sull’uno o l’altro indicatore – aiutando così a dimenticare che non di valutazione scientifica si tratta, bensì di valutazione di stato.
This text is licensed under CC BY-SA 4.0 license 
