Un commento non richiesto sul bando per la valutazione di stato VQR 2020-2024

L’ANVUR rende disponibile, qui, una bozza del bando per il prossimo esercizio di valutazione della ricerca, burocraticamente noto come VQR 2020-2024. È un documento coerente nel metodo e nel merito.

Nel metodo, il fine della pubblicazione della bozza è la “consultazione con la comunità scientifica allo scopo di raccogliere osservazioni e commenti da parte delle istituzioni interessate e dei principali portatori di interesse”. Ma gli unici a essere consultati sono i rettori e i presidenti di enti di ricerca, e i loro pareri, nonché quelli eventuali che alcuni di essi, per il loro buon cuore, vanno raccogliendo fra i ricercatori. Questi commenti, inoltre, non sono pubblici. Non si tratta, dunque, di una discussione scientifica, bensì di una consultazione amministrativa riservata1 a chi vuole farsi, nelle stanze segrete, consigliere del principe per un giorno.

Nel merito, chi valuterà la ricerca? L’articolo 3 del bando spiega che il 75% dei membri dei gruppi di esperti valutatori, burocraticamente noti come GEV, saranno sorteggiati. I candidati al sorteggio, che già si autoselezionano fra quanti, per motivi teorici o pragmatici, sono favorevoli alla valutazione di stato, sono anche oggetto di selezione bibliometrica:  devono infatti godere, per quanto concerne le loro pubblicazioni, dei valori-soglia necessari per far parte di un collegio di dottorato (art. 3.1).

Chi è tentato di vedere nel sorteggio un omaggio alla diffidenza della democrazia antica per i rischi aristocratici dell’elezione deve  considerare che il restante 25% dei componenti dei GEV verrà designato dall’ANVUR, sempre entro una base determinata bibliometricamente (art. 3.4). L’ANVUR inoltre interverrà  a integrare i GEV qualora la procedura non riesca a produrre gruppi con i requisiti dell’articolo 3 comma 4 menzionato sopra, e a nominare i loro coordinatori (art. 3.16). Infine (art. 3.22), il consiglio direttivo dell’ANVUR può sostituire i membri di un GEV in caso di non specificate  “criticità emerse in sede di verifica in itinere sull’andamento del processo di valutazione, sentito il coordinatore”,  che è di sua nomina. A dispetto del sorteggio, il controllo gerarchico del consiglio direttivo dell’ANVUR è confermato dalle nomine strategiche e dalla possibilità di rimuovere i valutatori a suo arbitrio: non si tratta, del resto, di valutazione scientifica, ma di valutazione di stato, da parte di un’agenzia nominata dal governo.

L’ANVUR ha aderito alla riforma europea della valutazione della ricerca che fa capo alla coalizione COARA  e  siede nella sua commissione direttiva. Ma a quale scopo e con quale coerenza?2 Mentre il terzo impegno (p. 6) dell’accordo europeo richiede di “abbandonare l’uso inappropriato, nella valutazione della ricerca, di misure basate su riviste e pubblicazioni, e in particolare del fattore d’impatto (JIF) e dell’indice H”, l’ANVUR valuta i valutatori, nei settori cosiddetti bibliometrici, sulla base delle citazioni e dell’indice H, e nei settori detti impropriamente3 non bibliometrici sulla base di soglie quantitative calcolate su liste di riviste di compilazione amministrativa. Anche ai valutati sarà difficile sfuggire a questo destino: il primo comma dell’articolo 7 consente l’uso di indicatori citazionali, anche se (art. 7.2) “tali indici non possono comunque sostituirsi a un’accurata valutazione di merito del prodotto della ricerca, né tantomeno tradursi in una automatica assegnazione del prodotto” alle categorie elencate dal successivo comma 9 – formulazione, questa, che consentirà di continuare a praticare la valutazione bibliometrica con l’accorgimento di corredarla con qualche frasetta qualitativa.

Anche per quanto concerne l’accesso aperto, il documento toglie con una mano il poco che sembra dare con l’altra. L’articolo 8 (primo comma, punto a) richiede l’accesso aperto “in caso di pubblicazioni relative a risultati di ricerche finanziate per una quota pari o superiore al 50% con fondi pubblici, e in generale per tutte le pubblicazioni per le quali l’editore lo consente.” L’accesso però può essere differito secondo le scadenze straordinariamente lunghe della legge 112 del 2013, di un anno e mezzo per i testi di scienze, tecnologia, ingegneria e matematica e di due anni per quelli di scienze sociali e umane. E il punto b dello stesso comma si accontenta dell’accesso al metadato di riferimento “per i prodotti relativi a risultati di ricerche finanziate per una quota inferiore al 50% con fondi pubblici, ovvero con periodi di embargo superiori a quelli indicati alla lettera a) o in tutti i casi in cui la diffusione non sia autorizzata dall’editore” – suggerendo dunque che si tratta di un open access alle calende greche e a discrezioni degli editori. Invece il parere degli autori, detentori originari di un copyright che non necessariamente è ceduto agli editori, non conta nulla.

Sui criteri e i processi di valutazione, il primo principio di COARA (p. 3) connette la qualità della ricerca all’apertura, intesa come “condivisione precoce di conoscenze e dati e collaborazione aperta – impegno sociale compreso qualora appropriato”. L’accesso aperto del bando, ridotto ai minimi termini, è ben lontano dall’applicarlo, anche qui coerentemente con il metodo di discussione scelto dall’ANVUR.4

I funzionari dell’agenzia si possono difendere, certo, riconoscendo di non essere indipendenti, bensì subordinati alla legislazione e al diritto amministrativo vigente. Se così fosse, però, perché mai hanno sottoscritto e si sono  proposti alla guida di un processo i cui impegni non sono in grado di mantenere?

This text is licensed under CC BY-SA 4.0 license

Premio per tesi sulla scienza aperta (bando 2023): i vincitori

La commissione giudicatrice ha concluso la valutazione delle tesi concorrenti al bando di quest’anno e ha proclamato vincitori ex aequo, per le tesi di laurea magistrale, la dottoressa Miriana Ferro, la dottoressa Camilla Franch e il dottor Marco Lezcano.

Il verbale dei lavori della commissione, composta da Daniela Tafani. Paola Galimberti, Stefano Bianco e Ilaria Fava è visibile qui.

La peer review in un’epoca di scienza aperta: un dibattito transdisciplinare (27 settembre 2023- 14.00 online)

Nell’ambito della settimana internazionale dedicata alla peer review, la Commissione Open science dell’Università di Milano organizza un dibattito transdisciplinare sulla peer review nell’epoca della scienza aperta.

L’evento mira a favorire un dialogo transdisciplinare su funzioni, modelli e finalità della peer review, con particolare riferimento alle innovazioni digitali e alle sfide dell’open science. Discuterà del tema un gruppo di esperti di varie discipline, dalla filosofia alle medicina, dalla matematica alla sociologia, che hanno studiato in maniera approfondita la peer review e/o le sfide della scienza aperta ed avuto esperienze dirette dei problemi della sua gestione in qualità di editor e/o fondatori/trici di riviste scientifiche.

Come contemperare le esigenze di trasparenza dell’open science con i criteri di equità garantiti dalla valutazione confidenziale? E’ possibile convergere verso un unico modello di gestione della peer review o dobbiamo continuare a garantire diversità e rispetto delle tradizioni disciplinari? Possiamo immaginare modelli alternativi di valutazione della conoscenza? La peer review e le riviste scientifiche – come le conosciamo – esisteranno ancora tra 20 anni?

Parteciperanno all’incontro:

Introduzione e coordinamento
Flaminio Squazzoni Presidente Commissione Open Science, Università degli Studi di Milano
Interventi
Lucia Angiolini Università degli Studi di Milano
Alberto Baccini Università degli Studi di Siena
Giacomo Bellani Università degli Studi di Trento
Fabrizio Berra Università degli Studi di Milano
Hykel Hosni Università degli Studi di Milano
Francesco Maggi University of Texas
Maria Chiara Pievatolo Università di Pisa
Marco Seeber Universitetet i Agder
Enrico Valdinoci The University of Western Australia

Locandina e URL per collegarsi

Il futuro della scienza aperta: monopoli intellettuali, valutazione, infrastrutture, formazione (Bari, 19-20 ottobre 2023)

Sono aperte le iscrizioni all’ottavo convegno annuale dell’AISA, Il futuro della scienza aperta: monopoli intellettuali, valutazione, infrastrutture, formazione, che si svolgerà il 19-20 ottobre 2023 a Bari. Il programma della conferenza è visibile qui.

L’ingresso in presenza è libero, ma si consiglia l’iscrizione a quanti hanno intenzione di chiedere un attestato di partecipazione.

La parola dell’ANVUR: Open Research Europe e l’accordo europeo per la riforma della valutazione della ricerca

Come documentato da “Roars”, l’ANVUR ha escluso Open Research Europe (ORE) sia dalla lista delle cosiddette riviste di classe A, sia da quella delle riviste scientifiche per l’area della sociologia generale.

Open Research Europe è un’infrastruttura offerta dalla Commissione dell’Unione Europea all’élite di autori i cui lavori di ricerca sono esito di finanziamenti europei. Priva dei vincoli tecnologici della stampa, per i quali la pubblicazione di testi
selezionati ex ante ne segnalava anche il valore
, ORE è a un tempo un archivio, un forum pubblico di discussione e un complesso di riviste di diverse discipline.

Gli autori possono usare ORE per autoarchiviare e rendere pubblici i propri testi, codici e dati perché siano rivisti in una discussione a sua volta pubblica, a cui partecipano, oltre a loro stessi, sia esperti invitati ad hoc, sia utenti registrati al sito. Se i revisori, dopo eventuali modifiche, marcano gli articoli come accettati, essi verranno indicizzati da vari servizi anche proprietari, come Scopus di Elsevier. I testi compaiono inoltre in Google Scholar.

Fra le molte forme di revisione paritaria aperta, ORE ha adottato quella che consiste nel render pubblica l’intera discussione pur continuando a far uso di esperti appositamente selezionati, così da riconoscerne le responsabilità e i meriti, da palesarne eventuali conflitti di interessi e da trasformare una procedura opaca, gerarchica ed esposta a fallimenti talvolta catastrofici in un dibattito scientifico franco. Come scriveva Giorgio Israel,

L’anonimità dell’esaminatore è invece un’idea sciocca e scandalosa. Chi deve firmare un giudizio e quindi mettere in gioco la propria rispettabilità sta bene attento a quel che scrive, mentre – e si potrebbe produrre un gran numero di esempi al riguardo – un recensore anonimo può permettersi il lusso di emettere giudizi affrettati, superficiali o anche di fare affermazioni palesemente sbagliate, con gli intenti più disparati, senza dover pagare alcun prezzo per questo. Il diffondersi delle procedure di selezione mediante il ricorso a valutatori anonimi, lungi dal garantire la serietà e l’obbiettività del giudizio – si sostiene che il valutatore anonimo sarebbe libero di esprimersi senza le reticenze dettate dai suoi eventuali rapporti di conoscenza o amicizia con il valutato o dal timore di rappresaglie – induce comportamenti poco etici se non addirittura scorretti. Che bisogno c’è dell’anonimato? Una persona che appartiene al mondo della ricerca e dell’università dovrebbe essere capace di conformarsi a criteri di “scienza e coscienza” e non avere il timore di difendere le scelte compiute su tali basi. L’anonimato rischia invece di offrire coperture a comportamenti intellettualmente superficiali o eticamente scorretti.

ORE è criticabile perché la sua gestione è stata affidata, invece che ad archivi o biblioteche, a F1000 Research, di proprietà di un oligopolista commerciale privato partecipe della cosiddetta editoria di sorveglianza, il quale ha ben poco a che vedere con la tutela della conoscenza indipendente e pubblica. Ma non di questo si preoccupa l’ANVUR: per chi volesse far uso degli articoli che vi ha depositato ai fini della propria carriera accademica in area sociologica, ORE, secondo l’agenzia, non è né scientifica né eccellente perché non pubblica in fascicoli “distinti, in sé conclusi e non aperti ad ulteriori aggiornamenti” e perché non pratica la revisione anonima.

Conviene resistere alla tentazione di sorridere di chi, a più di trent’anni dall’invenzione del World Wide Web, pretende che la pubblicazione on line non renda disponibili i testi appena sono pronti ma si sforzi di riprodurre i limiti tecnici ed economici della stampa uscendo in “fascicoli”, e imbriglia la discussione scientifica in procedure ispirate a idee non solo “sciocche e scandalose”, ma più recenti e discutibili di quanto molti immaginino, mentre altrove ci si va chiedendo se le riviste cosiddette scientifiche non meritino di essere superate.5 Qui che cosa si decide è secondario rispetto alla questione di chi decide e in virtù di quale legittimazione.

Il sistema di valutazione della ricerca italiano vigente, amministrativo e centralizzato, è dominato da un’Agenzia Nazionale di Valutazione dell’Università e della Ricerca il cui consiglio direttivo è nominato dal governo. Fra i suoi numerosissimi compiti c’è quello di stabilire quali riviste, nelle aree delle scienze umane e sociali, sono scientifiche e quali no, e quali, fra queste ultime, sono eccellenti (di classe A) e quali no. A dispetto dell’articolo 33 della costituzione, Caesar est supra grammaticos: a decidere che cosa è scientifico e che cosa no non sono i ricercatori, bensì un’autorità nominata dal governo. Il medesimo principio burocratico e gerarchico opera nel regolamento per la classificazione delle riviste nelle cosiddette aree non bibliometriche stilato dal consiglio direttivo dell’ANVUR: il consiglio, oltre ad avere l’ultima parola, controlla la procedura fin dal suo inizio, nominando gli studiosi-funzionari del gruppo di lavoro che si occupa dell’istruttoria sulle riviste.

La valutazione di stato della ricerca, amministrativa e centralizzata invece che scientifica e distribuita, è strutturalmente dispotica e retrograda. Perfino se il direttivo dell’ANVUR e gli studiosi-funzionari degli organi che ne sono emanazione fossero illuminati e in perfetta armonia con le comunità dei ricercatori italiani, le loro liste, fissate da norme di diritto amministrativo in grado di mutare solo tramite ulteriori atti di autorità, ingesserebbero la discussione e la comunicazione della scienza.

La negazione della scientificità di ORE per la sociologia generale viola gli impegni che l’ANVUR ha formalmente sottoscritto aderendo alla coalizione europea per la riforma della valutazione della ricerca (COARA), del cui steering board fa parte un membro del suo consiglio direttivo. In particolare, la redazione di “Roars” ha osservato che prescrivere una revisione paritaria chiusa, la quale, essendo privata, non consente di riconoscere il contributo scientifico dei revisori, è incompatibile con il secondo impegno dell’accordo europeo.

In generale COARA include fra i suoi principi complessivi la salvaguardia della libertà della ricerca, che l’agenzia lede indipendentemente dalla sua decisione su ORE. Stabilire che cosa è scientifico e che cosa no tramite liste determinate amministrativamente confina infatti la libertà dei ricercatori di scegliere temi, metodi, teorie e applicazioni delle loro indagini entro le agende e le politiche editoriali delle riviste approvate dall’ANVUR.

Safeguard freedom of scientific research. By putting in place assessment frameworks that do not limit researchers in the questions they ask, in their research implementation, methods or theories. By limiting the assessment frameworks to only those necessary, as assessment must be useful for researchers, institutions and funders.6

Inoltre, quando COARA prescrive che i criteri e i processi di valutazione non siano incentrati bibliometricamente, sulla quantità, bensì sulla qualità, la definisce connettendola all’apertura: “openness corresponds to early knowledge and data sharing, as well as open collaboration including societal engagement where appropriate”.7 Di nuovo: come si può parlare di collaborazione aperta quando che cosa è scientifico e che cosa no è deliberato da un’autorità nominata dal governo in un gioco a somma zero volto a mettere ricercatori e istituzioni gli uni contro gli altri?

Per rendersi conto che il sistema delle liste di riviste è in contrasto con gli impegni europei sottoscritti dall’ANVUR non era indispensabile il casus belli di ORE. In tempi non sospetti si era già notato che la normativa nazionale sulla valutazione della ricerca era in conflitto con i principi di COARA e si era osservato che, coerentemente, l’ANVUR non avrebbe dovuto soltanto aggiornare le sue liste e il relativo regolamento, bensì abolirle in quanto espressione autoritaria di una valutazione di stato strutturalmente dispotica, retrograda e incompatibile con la scienza aperta. L’agenzia, nel frattempo, non ha fatto né l’una né l’altra cosa – come se non avesse chiaro il senso di ciò che ha firmato, o, avendolo invece chiarissimo, intendesse partecipare alla riforma europea con una pesante, gattopardesca reservatio mentalis.

Aggiornamento sull’ANVUR e la revisione paritaria aperta.

This text is licensed under CC BY-SA 4.0 license

Premio per tesi sulla scienza aperta: bando 2023

Anche quest’anno, in occasione del suo VIII convegno, l’Associazione italiana per la promozione della scienza aperta premierà le migliori tesi di dottorato e di specializzazione o di laurea magistrale dedicate alla scienza aperta e presentate negli anni 2021, 2022 e 2023.

Le indicazioni sulle modalità di partecipazione al concorso, il cui bando scade il 10 settembre 2023, sono consultabili a partire da questa pagina.

Immagini dei beni culturali e uso a pagamento: la posizione di Creative Commons Italia

Anche Creative Commons Italia prende posizione contro il D.M. 11 aprile 2023, n. 161 sulla ricerca e sulla circolazione delle immagini del patrimonio culturale italiano, che impone delle tariffe minime per l’uso di riproduzioni digitali di beni culturali statali, compresi quelli in pubblico dominio.

Richard Stallman, Working for the public. Universities, software and freedom (Pisa, 7 giugno)

I dettagli dell’evento, che ha il patrocinio dell’AISA, sono visibili qui. L’intervento di Richard Stallman sarà preceduto dalla proiezione del video disponibile qui, con sottotitoli in varie lingue.
Chi desidera seguire la conferenza in streaming non interattivo può collegarsi qui.