Conclave in the Tower of Babel: how peers review interdisciplinary research proposals

Laudel, Grit

doi:10.3152/147154406781776048

Cited by 55 publications

(41 citation statements)

References 0 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Studies of scientific peer review provide many examples of how various forms of subjectivity manifest in the process of adjudicating scientific knowledge, including preconceived views of what constitutes 'good science' (Daston and Galison, 2007;Mahoney, 1977;Travis and Collins, 1991), debate about what legitimates criteria and methods for evaluation (Dirk, 1999;Guetzkow et al, 2004;Langfeldt, 2001;Laudel, 2006;Roy, 1985), and interactional dynamics among evaluators (Lamont, 2009;Lamont and Huutoniemi, 2012;Langfeldt, 2004;Olbrecht and Bornmann, 2010). These studies document how actors have been unsuccessful at eradicating subjectivity from knowledgemaking processes.…”

Section: Epistemic Rules For Judgments Of 'Taste' and 'Truth'mentioning

confidence: 99%

Legitimate judgment in art, the scientific world reversed? Maintaining critical distance in evaluation

Chong

2013

Soc Stud Sci

View full text Add to dashboard Cite

This article considers affinities between artistic and scientific evaluations. Objectivity has been widely studied, as it is thought the foundation for legitimate judgments of truth. Yet we know comparatively little about subjectivity apart from its characterization as the obstacle to objective knowledge. In this article, I examine how subjectivity operates as an epistemic virtue in artistic evaluation, which is an especially interesting field for study given the accepted relativism of taste. Data are taken from interviews with 30 book reviewers drawn from major American newspapers including The New York Times, The Los Angeles Times, The Washington Post, and others. The data reveal that critics invest in a set of strategies to effectively 'objectivize' the subjectivity intrinsic to artistic evaluation, which I refer to collectively as strategies for maintaining critical distance. I argue that the concrete procedures for producing legitimate judgment in the world of art can be usefully compared to the norms for legitimate judgment in science.

show abstract

Section: Epistemic Rules For Judgments Of 'Taste' and 'Truth'mentioning

confidence: 99%

Legitimate judgment in art, the scientific world reversed? Maintaining critical distance in evaluation

Chong

2013

Soc Stud Sci

View full text Add to dashboard Cite

show abstract

“…Los pocos estudios que analizan la investigación interdisciplinar tienden a favorecer la introducción de criterios especiales de evaluación, dando importancia a la bondad de la integración o al ajuste de los conocimientos procedentes de distintas áreas. Autores como Laudel (2006) consideran que es posible mantener criterios tradicionales de evaluación frente a autores como Klein (2008), que creen que un método único puede distorsionar la multidimensionalidad de la propia investigación. Langfeldt (2006), por su parte, señala la importancia de la evaluación tradicional siempre que pueda ser complementada cuando y dónde sea necesario.…”

Section: Conclusiones Y Discusiónunclassified

“…Por su parte, la Biotecnología siempre se ha considerado interdisciplinar de modo intuitivo, pero también a través de estudios concretos que analizan sus relaciones con otras categorías (Morillo y otros, 2003), lo que la hace candidata ideal como estudio de caso para la identifi cación de sus sub-especialidades. Para la evaluación de la investigación interdisciplinar (Laudel, 2006) resulta ventajoso mantener los criterios tradicionales para que las evaluaciones puedan compararse y la legitimidad de la investigación interdisciplinar no corra peligro por la creación de estándares especiales para su revisión. Klein (2008), por su parte, opina que no se deberían imponer metodologías ni impedir la evaluación a la espera de un método único y universal de medición que sería la antítesis de la multidimensionalidad de la propia investigación.…”

Section: Introducción Y Objetivosunclassified

Características y disparidades entre sub-especialidades: un estudio de caso con grupos de Biotecnología

Morillo¹,

Aparicio²

2011

Rev. esp. doc. cient.

View full text Add to dashboard Cite

Resumen: El objetivo de este trabajo es el estudio de las características y disparidades entre las sub-especialidades existentes dentro de categorías interdisciplinares, planteando la necesidad de identifi car y evaluar por separado cada una de ellas. Se analizan los años 2003-2006, a través de las bases de datos del Web of Science (WoS), y se exploran las posibles diferencias entre grupos de investigación de Biotecnología de la Comunidad de Madrid según su perfi l de especialización. Esta región española es la de mayor producción en Biotecnología (27 %) y dicha categoría presenta interacciones con otras disciplinas como Microbiología, Bioquímica y Alimentos. Por este motivo, el estudio de grupos incluye, en un segundo análisis, no sólo los documentos de esta categoría, sino también todas las publicaciones de los investigadores principales, independientemente de su disciplina. Con estos datos, se examina la infl uencia de la especialización en las características de los grupos, sus patrones de colaboración y su impacto. Se identifi can tres tipologías según las sub-especialidades: a) grupos del NÚ-CLEO (publicando el 50 % o más de sus documentos en Biotecnología); b) grupos de tipo BÁSICO (publicando en Bioquímica y otras disciplinas básicas), y c) grupos de tipo MEDIO (publicando en Alimentos y disciplinas menos básicas). Por medio de pruebas estadísticas, se encontraron diferencias signifi cativas entre estos conjuntos en relación con su producción e impacto. Se concluye que estas disparidades deberían ser tenidas en cuenta al evaluar la investigación que se produce en categorías interdisciplinares como la Biotecnología.Palabras clave: Indicadores bibliométricos, sub-especialidades, evaluación, grupos de investigación, Biotecnología. Characteristics and disparities among sub-specialities: a case study of Biotechnology research teams

show abstract

“…Because it is "difficult to identify peers whose expertise fully encompasses" all the knowledge needed to evaluate interdisciplinary scholarship, the very notion of "peer" review is called into question in the case of interdisciplinarity (Porter and Rossini, 1985: 33; see also Laudel, 2004). Despite such hurdles, review panels are regularly called upon to judge the value of interdisciplinary work.…”

Section: He Editor-in-chief Of Duke Universitymentioning

confidence: 99%

Beyond blind faith: overcoming the obstacles to interdisciplinary evaluation

Lamont¹,

Mallard²,

Guetzkow³

2006

res. eval.

View full text Add to dashboard Cite

Knowledge about how reviewers serving on interdisciplinary panels produce evaluations that are perceived as fair is especially lacking. This paper draws on 81 interviews with panelists serving on five multidisciplinary fellowship competitions. We identify how peer reviewers define "good" interdisciplinary research proposals, and how they understand the procedures for selecting such proposals. To produce an evaluation they perceive as fair, panelists must respect the primacy of disciplinary sovereignty, deference to expertise and methodological pluralism. These rules ensure the preponderance of the voices of experts over non-experts in interdisciplinary panels. In addition, panelists adopt a range of tactics and strategies designed to make other reviewers who lack such expertise trust that their judgments are disinterested and unbiased.

show abstract

Conclave in the Tower of Babel: how peers review interdisciplinary research proposals

Cited by 55 publications

References 0 publications

Legitimate judgment in art, the scientific world reversed? Maintaining critical distance in evaluation

Legitimate judgment in art, the scientific world reversed? Maintaining critical distance in evaluation

Características y disparidades entre sub-especialidades: un estudio de caso con grupos de Biotecnología

Beyond blind faith: overcoming the obstacles to interdisciplinary evaluation

Contact Info

Product

Resources

About