Peering into peer review: Good quality reviews of research articles require neither writing too much nor taking too long

Abstract

The value of scientific knowledge is highly dependent on the quality of the process used to produce it, namely, the quality of the peer-review process. This process is a pivotal part of science as it works both to legitimize and improve the work of the scientific community. In this context, the present study investigated the relationship between review time, length, and feedback quality of review reports in the peer-review process of research articles. For this purpose, the review time of 313 referee reports from three Chilean international journals were recorded. Feedback quality was determined estimating the rate of direct requests by the total number of comments in each report. Number of words was used to describe the average length in the sample. Results showed that average time and length have little variation across review reports, irrespective of their quality. Low quality reports tended to take longer to reach the editor, so neither time nor length were related to feedback quality. This suggests that referees mostly describe, criticize, or praise the content of the article instead of making useful and direct comments to help authors improve their manuscripts.

Who Is (Likely) Peer-Reviewing Your Papers? A Partial Insight into the World’s Top Reviewers

“…Scrutiny of peer-reviewers is not new, and Evans et al [10] looked into the characteristics of peer-reviewers who produce good quality reviews in a specific journal. Cabezas De Fierro et al [11] reviewed about 300 referee reports from three journals, concluding that neither time nor length was related to review quality. Our own interest, however, was sparked by a relatively recent platform which opened a door onto the usual (single/double/triple 1 ) blindness of peer-review: Publons.…”

El informe de arbitraje de rechazo: su microvariación según los tipos de evaluador

“…Los comentarios descriptivos que tienen una polaridad evaluativa neutra (Astudillo et al, 2016) no tienen ninguna utilidad para los autores, menos cuando se recomienda el rechazo del manuscrito evaluado. Los datos de otros trabajos (Astudillo, 2016, Suid, Sabaj & González, 2018Cabezas et al, 2018) sugieren que el uso de este tipo de propósitos tiene como función principal introducir de manera matizada un comentario evaluativo negativo, o bien demostrar que se ha revisado el manuscrito de manera cuidadosa. Otra característica de estos árbitros sin productividad es que son los que más adoptan un rol correctivo.…”

“…El Informe de Arbitraje como género discursivo: vacíos en su estudio El Informe de Arbitraje, como género discursivo, tiene características particulares que lo convierten en uno de los textos más importantes para comprender cómo la ciencia se construye de manera colectiva. Diversos autores (como Gosden, 2001Gosden, y 2003Bolívar, 2008;Fortanet, 2008;Astudillo, 2015;Astudillo et al, 2016;Samraj, 2016;Suid, Sabaj & González-Vergara, 2018;Cabezas et al, 2018;Sabaj et al, 2018) han descrito estas características.…”

“…En 2011, la autora (Bolívar, 2011) describió las funciones de la negación en IA y determinó que se utiliza con cuatro funciones o propósitos: determinar lo que falta, lo que sobra, lo que no está bien o lo que no es adecuado desde un punto de vista social. Otros trabajos relevantes actuales para nuestra lengua son, entre otros: i) la propuesta de un modelo discursivo para el análisis de artículos rechazados de Astudillo (2015); ii) el análisis de la proporción de los comentarios según su polaridad evaluativa (positiva, negativa o neutra) y la recomendación de publicación (Astudillo et al, 2016); iii) el estudio de las estrategias de atenuación en los informes de arbitraje (Suid et al, 2018); iv) el análisis de la variación del informe de arbitraje según extensión y el tiempo que los árbitros toman para remitirlo al editor (Cabezas et al, 2018); y, v) la variación del informe de arbitraje según la recomendación de publicación y la productividad de los autores (Sabaj et al, 2018).…”

Trends in scientific publishing on sustainability in higher education

“…Authors have been accused of assessing publication value by impact factors or prestige, rather than the rigor and quality of each peer reviewed submission (Schimanski and Alperin 2018). Reviewer expertise and experience are also open to criticism, being blamed for the exercise of power, gatekeeping, paradigm contradiction and insufficient expertise (Atjonen 2019), as well as for providing descriptive praise or criticism, instead of practical guidance for improvement of manuscripts (del Fierro et al 2018). Even though peer reviewers are impartial experts (Roll 2019), there is recognition by editors that the peer review process is not without bias (Pollock 2019).…”