La valutazione bibliometrica rende la scienza “less efficient and reliable”.
Già precedentemente su Nature, Philip Ball aveva commentato alcuni articoli che studiano, anche quantitativamente, come i ricercatori si adattano agli incentivi che ricevono, tra cui, in particolare, quelli legati a valutazioni bibliometriche.
La conclusione, va esattamente nella direzione opposta rispetto alle politiche della valutazione della ricerca attuate in Italia negli ultimi cinque anni: «Whenever quantitative metrics are used as proxies to evaluate and reward scientists,» scrivono Smaldino and McElreath, «those metrics become open to exploitation if it is easier to do so than to directly improve the quality of research».
Se uno degli articoli citati si intitola “The natural selection of bad science”, bisogna dire che in Italia siamo andati persino oltre.
Se consideriamo il ricorso sistematico a metodi notoriamente pseudoscientifici (uno tra tutti: la somma di numeri ordinali) e l’uso di metriche screditate e dannose (l’Impact Factor, per esempio), da noi c’è ben poco di naturale e si può tranquillamente parlare di “The planned selection of bad science”.
Fonte: ROARS – Return On Academic Research
«Universities: adopt as standard practice a requirement that committees actually re ad candidates’ research, as is done in the REF [la VQR inglese NdR] exercise. Emphasize how researchers approach questions when evaluating candidates.»
Questa è solo una delle raccomandazioni che chiudono un articolo apparso su Nature che denuncia le ricadute negative dei paraocchi bibliometrici troppo spesso indossati dai revisori, sia di progetti che di ricercatori.
Per quanto largamente disattesa in Italia, la raccomandazione non è nuova. Merita però attenzione un’analisi quantitativa che rivela come sulla breve distanza (tre anni dalla pubblicazione) gli articoli più innovativi hanno minore probabilità di rientrare nel top 1% dei più citati rispetto a quelli meno innovativi.
Ma poi c’è il graduale sorpasso, un’ulteriore dimostrazione che i criteri della Valutazione della Qualità della Ricerca (VQR) italiana, in aggiunta agli errori aritmetici (il ricorso alla somma di numeri ordinali), erano inadeguati anche dal punto di vista concettuale. […]
