Letter: The unbearable lightness of the evaluation of research projects: do we need to regularize the professional activity of research evaluation?

Abstract

This letter aims to highlight severe inconsistencies in the scientific evaluation of regionally publicly funded research projects, uncovering structural failures related to the public management of science that go beyond technical aspects of bibliometrics. This problem is exemplified through an illustrative case study (the public grants program to emerging research groups funded by the regional government of the Valencian region, Spain, NUTS-2), describing three complementary aspects of this call (the evaluation system, the evaluation process, and the communication of the evaluation). The problems illustrated by this case study lead to a general problem related to the nonstrategic use of science. Finally, the national and international regularization of the professional activity of research evaluation in general, and bibliometrics in particular, is proposed as a route to avoid mismanagement of science (and scientific evaluation). Resumen Esta carta tiene como objetivo resaltar graves inconsistencias en la evaluación científica de proyectos de investigación financiados con fondos públicos regionales, destapando fallos estructurales relacionados con la gestión pública de la ciencia que van más allá de los aspectos técnicos bibliométricos. Este problema se ejemplifica a través de un estudio de caso ilustrativo (el programa de ayudas públicas a grupos de investigación emergentes financiado por el gobierno regional de la Comunidad Valenciana, España, NUTS-2), describiendo tres aspectos complementarios de esta convocatoria (el sistema de evaluación, el proceso de evaluación, y la comunicación de la evaluación). Los problemas ilustrados por este estudio de caso conducen a un problema general relacionado con el uso no estratégico de la ciencia. Se propone finalmente la regularización nacional e internacional de la actividad profesional de la evaluación de la investigación en general, y de la bibliometría en particular, como vía para evitar la mala gestión de la ciencia (y de la evaluación científica). Palabras clave Evaluación de la investigación; Bibliometría; Proyectos de investigación; Financiación pública de la ciencia; Ciencia de la ciencia; Meta-investigación; Convocatorias de investigación regionales; Gestión de la ciencia.