Do Peer Reviews Predict Impact? Evidence from the American Sociological Review, 1978 to 1982

Abstract

The authors investigate how well peer reviews of articles published in the journal American Sociological Review between 1978 and 1982 predict the articles' citation impact in the following 32 years. The authors find no evidence of a relationship between review outcomes and citation impact at any time after publication, even when citations are normalized by subfield. Qualitative analysis of the review texts rules out the interpretation that reviewers focused on potential impact but failed to predict it. Instead, reviewers focused on the soundness of the manuscripts' arguments. The authors discuss how organizational characteristics of review can decouple reviewers' judgments from impact.

Bibliometrics-based decision trees (BBDTs) based on bibliometrics-based heuristics (BBHs): Visualized guidelines for the use of bibliometrics in research evaluation

“…These subfields can be concerned by different citation rates, why Bornmann, Marx, and Barth (2013) propose to consider these differences in research evaluation by calculating subfield-normalized citation rates (see Narin, 1987). In recent years, subfield-normalized citation rates have been calculated based on the following monodisciplinary classification systems: Medical Subject Headings (MeSH) (Boyack, 2004), Physics and Astronomy Classification Scheme (PACS) (Radicchi & Castellano, 2011), sections of the American Sociological Association (ASA) (Teplitskiy & Bakanic, 2016), and Journal of Economic Literature (JEL) codes (Bornmann & Wohlrabe, 2019).…”

Эссе О Ценности Научного Документа

“…В свою очередь, Teplitskiy и Bakanic [61] также рассматривают оценку ценности документов вне всякой связи с использованием. Вопрос об использовании документов, признаваемых ценными, даже не поднимается; при этом оценка «ценности» осуществляется в данной статье экспертамивне связи с использованием, априорно.…”

“…сноски 3 и 12) 22 . Однако описание понимания ценности, альтернативное исповедуемому в данном эссе, в статье Teplitskiy и Bakanic [61] как раз присутствует, приведены и необходимые ссылки. По мнению Teplitskiy и Bakanic, «истинная ценность может быть многомерным понятием» [61, p. 1] и, в рамках этого понимания, по их мнению, «воздействие» ("impact"; в другом месте -«заявляемое потенциальное воздействие» [61, p. 1]) является аспектом ценности научного документа [Там же].…”

“…113], часть из которых видима и отражается в видимых характеристиках документов, -то есть опиралась в своём подходе на оценку реальных, видимых маркеров, связанных с имеющимися конкретными внешними признаками статьи, -то Teplitskiy и Bakanic пробуют для оценки ценности практиковать экспертную оценку фактически будущего «воздействия», которое ещё не получило никакого конкретного выражения и ни в каких внешних признаках себя не проявило… то есть, грубо говоря, предлагают гадание. Насколько бы «иным» ни было понимание ими ценности -ну, не вяжется… Столкнувшись с такими построениями, сложно не запутаться, или не отбросить от себя проблему, сказав, что исследование якобы «не зависит от конкретного понимания человеком понятия ценности, и поэтому нет необходимости давать точное определение этому понятию», как говорят (дословно) Waltman и Traag [20, p. 10]… Текст статьи [61] становится еще менее возможным для принятия, когда видишь, что Teplitskiy и Bakanic не только обсуждают применение экспертизы для оценки «будущего воздействия», но и, напротив, для оценки качества -априорной по определению (см. сноску 3), -применение анализа цитируемости (ретроспективного по своей природе): ими сказано, что «использование цитат в качестве золотого стандарта качества статьи требует компромиссов» [61, p.2] 23 .…”

Should citations be field-normalized in evaluative bibliometrics? An empirical analysis based on propensity score matching

“…Physics and Astronomy Classification Scheme (PACS) (Radicchi & Castellano, 2011), and sections of the American Sociological Association (ASA) (Teplitskiy & Bakanic, 2016).…”