What Is Wrong With the Current Evaluative Bibliometrics?

Abstract

Bibliometric data are relatively simple and describe objective processes of publishing articles and citing others. It seems quite straightforward to define reasonable measures of a researcher's productivity, research quality, or overall performance based on these data. Why do we still have no acceptable bibliometric measures of scientific performance? Instead, there are hundreds of indicators with nobody knowing how to use them. At the same time, an increasing number of researchers and some research fields have been excluded from the standard bibliometric analysis to avoid manifestly contradictive conclusions. I argue that the current biggest problem is the inadequate rule of credit allocation for multiple authored articles in mainstream bibliometrics. Clinging to this historical choice excludes any systematic and logically consistent bibliometrics-based evaluation of researchers, research groups, and institutions. During the last 50 years, several authors have called for a change. Apparently, there are no serious methodologically justified or evidence-based arguments in the favor of the present system. However, there are intractable social, psychological, and economical issues that make adoption of a logically sound counting system almost impossible.

Exponential authorship inflation in neuroscience and psychology from the 1950s to the 2020s.

“…Thus, coauthorship can be viewed as a form of unlimited currency that can be used to compensate for various services, express gratitude to supervisors, provide support to colleagues, and foster future collaborations. Consequently, without a proper mechanism to divide credit across coauthors, it creates a biased incentive mechanism: authors who maximize the number of coauthors on their articles stand to gain from increased publication and citation counts (Põder, 2022).…”

An analysis of reporting practices in the top 100 cited health and medicine-related bibliometric studies from 2019 to 2021 based on a proposed guidelines

“…Moreover, the coverage period should be clearly indicated, and vague statements, such as “up to the date of search,” should be avoided. Contemporary evaluative bibliometrics has been pointed out to be inadequate for handling multiple authorship [ 36 ]. Therefore, it is necessary to report the normalization method used for publications with two or more authors [ 37 ].…”

Портфельний Аналіз Модерних Напрямів Методологічного Сервісу Наукометрії Для Вищої Освіти

“…Специфіка наукових досліджень дефінітивних компонентів тезаурусу метрії полягає у відсутності усталених розмежувань між поняттями інформетрії (Pindlowa W. [5], Shannon C. [6]), наукометрії (Montazerian M., Dorch B. F. [2]), бібліометрії (Pindlowa W. [5], Pritchard A. [7], Põder E. [9]), соціометрії (Г. Морено [12], Соломка Е.Т., Прокопович Ю.А. [13]), а також їх сфер поширення у галузях суспільної, персональної, професійної діяльності та безпеки життєдіяльності особи, різночинних категорій соціальних груп та академічних спільнот, безпеки сфери освіти і науки, екологічної, енергетичної, інформаційної, економічної безпеки, національної безпеки України.…”

“…Британський інститут стандартизації (з англ. -British Standard Institution) закріплює поняття «бібліометрії» як «застосування математичних і статистичних методів у вивченні закономірностей використання документів і публікаційних патернів» [8], а британський філософ науки E. Põder [9] вважав головним завданням для бібліометрії як галузі наукознаваства є «продукування нової інформаціївласне нових наукових знань та наукових відкритів».…”