Google Scholar como una fuente de evaluación científica: una revisión bibliográfica sobre errores de la base de datos

Abstract

Google Scholar (GS) is an academic search engine and discovery tool launched by Google (now Alphabet) in November 2004. The fact that GS provides the number of citations received by each article from all other indexed articles (regardless of their source) has led to its use in bibliometric analysis and academic assessment tasks, especially in social sciences and humanities. However, the existence of errors, sometimes of great magnitude, has provoked criticism from the academic community. The aim of this article is to carry out an exhaustive bibliographical review of all studies that provide either specific or incidental empirical evidence of the errors found in Google Scholar. The results indicate that the bibliographic corpus dedicated to errors in Google Scholar is still very limited (n= 49), excessively fragmented, and diffuse; the findings have not been based on any systematic methodology or on units that are comparable to each other, so they cannot be quantified, or their impact analysed, with any precision. Certain limitations of the search engine itself (time required for data cleaning, limit on citations per search result and hits per query) may be the cause of this absence of empirical studies.Keywords: Google Scholar; Academic search engines; Bibliographic databases; Errors; Quality.Google Scholar como una fuente de evaluación científica: una revisión bibliográfica sobre errores de la base de datos Resumen: Google Scholar es un motor de búsqueda académico y herramienta de descubrimiento lanzada por Google (ahora Alphabet) en noviembre de 2004. El hecho de que para cada registro bibliográfico se proporcione información acerca del número de citas recibidas por dicho registro desde el resto de registros indizados en el sistema (independientemente de su fuente) ha propiciado su utilización en análisis bibliométricos y en procesos de evaluación de la actividad académica, especialmente en Ciencias Sociales y Humanidades. No obstante, la existencia de errores, en ocasiones de gran magnitud, ha provocado su rechazo y crítica por una parte de la comunidad científica. Este trabajo pretende precisamente realizar una revisión bibliográfica exhaustiva de todos los estudios que de forma monográfica o colateral proporcionan alguna evidencia empírica sobre cuáles son los errores cometidos por Google Scholar (y productos derivados, como Google Scholar Metrics y Google Scholar Citations). Los resultados indican que el corpus bibliográfico dedicado a los errores en Google Scholar es todavía escaso (n= 49), excesivamente fragmentado, disperso, con resultados obtenidos sin metodologías sistemáticas y en unidades no comparables entre sí, por lo que su cuantificación y su efecto real no pueden ser caracterizados con precisión. Ciertas limitaciones del propio buscador (tiempo requerido de limpieza de datos, límite de citas por registro y resultados por consulta) podrían ser la causa de esta ausencia de trabajos empíricos. octubre-diciembre 2017octubre-diciembre , e185 ISSN-L:0210-0614. doi: http://dx.doi.org/10....

Web of Science (WoS) and Scopus: The Titans of Bibliographic Information in Today’s Academic World

“…Thus, the main drawbacks of GS are the lack of transparency, stability, precision and control. Moreover, one of the main setbacks in trying to use GS for large-scale analysis is the unavailability of its data export [23,[31][32][33]. By simple experiment, it was also shown that GS can be easily manipulated using falsified data [34].…”

Evidence of open access of scientific publications in Google Scholar: A large-scale analysis

“…3. In some cases, Google Scholar is not able to successfully merge all the different versions of an article that can be found on the Web Orduna-Malea, Martín-Martín, & Delgado López-Cózar, 2017), and as a result, two or more entries might exist in Google Scholar for documents that are actually the same. This might happen for a number of reasons, but is more frequent in journals that publish several versions of the same document (i.e.…”

Analisis de la producción científica basado en las tendencias en temas de investigación. Un estudio de caso sobre inteligencia artificial

“…A primary indicator of quality is taken as the number of Scopus citations (Mingers and Leydesdorff, 2015;Yazdani et al, 2015), which is used in many studies in the scientometrics area. The number of citations in Google Scholar has not been used due to the controversy in this academic search engine (Orduna-Malea et al, 2017). In any case, Google Scholar offers an original and different vision of the most influential academic documents (measured from the perspective of their citation count) (Martín-Martín et al, 2016).…”