Abstract:Resumo As métricas alternativas têm sido utilizadas como complemento às métricas tradicionais, funcionando como ferramentas para rastrear os usos e a atenção social a publicações científicas no ambiente online. As revistas científicas de acesso aberto têm, potencialmente, maior chance de serem compartilhadas e lidas pelo público nas redes sociais. Nesse cenário, a produção científica do Brasil e da América Latina, a exemplo daquelas indexadas no SciELO, que reúne revistas científicas relevantes e de acesso abe… Show more
“…Altmetric data providers also vary in the methods they use to collect and process these mentions, meaning that different providers can yield different event data for the same research outputs (Karmakar et al, 2021 ). While there is evidence that differences between providers are decreasing over time (Bar-Ilan et al, 2019 ), concerns about data quality remain (Barata, 2019 ; Torres-Salinas et al, 2018a ; Williams, 2017 ). Despite these concerns, the use of Altmetric data in research studies remains common practice, likely because of the convenience of the data source and because of persistent interest in using metrics for research assessment, despite their potentially pernicious effects (Fitzpatrick, 2021 ; Hatch & Curry, 2020 ).…”
Section: Literature Reviewmentioning
confidence: 99%
“…For example, the platform only tracks Mendeley readership for research outputs that have already been mentioned on at least one social network, overlooking a substantial number of readers (Bar-Ilan et al, 2019 ). Altmetric data also appears to be particularly problematic when it comes to certain types of research items, such as scholarly monographs (Torres-Salinas et al, 2018b ) and non-English research (Barata, 2019 ).…”
The company Altmetric is often used to collect mentions of research in online news stories, yet there have been concerns about the quality of this data. This study investigates these concerns. Using a manual content analysis of 400 news stories as a comparison method, we analyzed the precision and recall with which Altmetric identified mentions of research in 8 news outlets. We also used logistic regression to identify the characteristics of research mentions that influence their likelihood of being successfully identified. We find that, for a predefined set of outlets, Altmetric’s news mention data were relatively accurate (F-score = 0.80), with very high precision (0.95) and acceptable recall (0.70), although recall is below 0.50 for some news outlets. Altmetric is more likely to successfully identify mentions of research that include a hyperlink to the research item, an author name, and/or the title of a publication venue. This data source appears to be less reliable for mentions of research that provide little or no bibliometric information, as well as for identifying mentions of scholarly monographs, conference presentations, dissertations, and non-English research articles. Our findings suggest that, with caveats, scholars can use Altmetric news mention data as a relatively reliable source to identify research mentions across a range of outlets with high precision and acceptable recall, offering scholars the potential to conserve resources during data collection. Our study does not, however, offer an assessment of completeness or accuracy of Altmetric news data overall.
Supplementary Information
The online version contains supplementary material available at 10.1007/s11192-022-04510-7.
“…Altmetric data providers also vary in the methods they use to collect and process these mentions, meaning that different providers can yield different event data for the same research outputs (Karmakar et al, 2021 ). While there is evidence that differences between providers are decreasing over time (Bar-Ilan et al, 2019 ), concerns about data quality remain (Barata, 2019 ; Torres-Salinas et al, 2018a ; Williams, 2017 ). Despite these concerns, the use of Altmetric data in research studies remains common practice, likely because of the convenience of the data source and because of persistent interest in using metrics for research assessment, despite their potentially pernicious effects (Fitzpatrick, 2021 ; Hatch & Curry, 2020 ).…”
Section: Literature Reviewmentioning
confidence: 99%
“…For example, the platform only tracks Mendeley readership for research outputs that have already been mentioned on at least one social network, overlooking a substantial number of readers (Bar-Ilan et al, 2019 ). Altmetric data also appears to be particularly problematic when it comes to certain types of research items, such as scholarly monographs (Torres-Salinas et al, 2018b ) and non-English research (Barata, 2019 ).…”
The company Altmetric is often used to collect mentions of research in online news stories, yet there have been concerns about the quality of this data. This study investigates these concerns. Using a manual content analysis of 400 news stories as a comparison method, we analyzed the precision and recall with which Altmetric identified mentions of research in 8 news outlets. We also used logistic regression to identify the characteristics of research mentions that influence their likelihood of being successfully identified. We find that, for a predefined set of outlets, Altmetric’s news mention data were relatively accurate (F-score = 0.80), with very high precision (0.95) and acceptable recall (0.70), although recall is below 0.50 for some news outlets. Altmetric is more likely to successfully identify mentions of research that include a hyperlink to the research item, an author name, and/or the title of a publication venue. This data source appears to be less reliable for mentions of research that provide little or no bibliometric information, as well as for identifying mentions of scholarly monographs, conference presentations, dissertations, and non-English research articles. Our findings suggest that, with caveats, scholars can use Altmetric news mention data as a relatively reliable source to identify research mentions across a range of outlets with high precision and acceptable recall, offering scholars the potential to conserve resources during data collection. Our study does not, however, offer an assessment of completeness or accuracy of Altmetric news data overall.
Supplementary Information
The online version contains supplementary material available at 10.1007/s11192-022-04510-7.
“…O ano de 2021, que conta com coleta parcial, apresenta 8,0 menções por postagem. As médias verificadas podem ir ao encontro da opinião de Barata (2019), de que o Twitter não possui grande adesão de brasileiros.…”
Section: Resultados Da Análise Do Perfil Da Movimento No Facebookunclassified
O presente estudo trata de uma pesquisa documental qualiquantitativa, descritiva e de natureza básica que consiste em um estudo altmétrico da revista Movimento, publicada pelo Programa de Pós-graduação em Educação Física, da Universidade Federal do Rio Grande do Sul. Analisa todas as postagens dos perfis da revista nas redes sociais Facebook, Twitter e Instagram, desde sua criação, com os objetivos de descrever as postagens realizadas, analisar as métricas em relação à periodicidade e visibilidade, e apontar quais delas geram maior engajamento, além de descrever o perfil dos seguidores do Facebook e do Twitter quanto aos interesses e local de residência. Apresenta uma análise dos comentários no Instagram. Foram coletadas manualmente nas três redes, data, tipologia, quantidade e periodicidade das postagens e quantidade de menções. No Facebook e no Twitter foram coletados nome, cidade ou país de domicílio ou procedência, profissão ou formação acadêmica dos seguidores que interagiram com as postagens. No Instagram foram coletados o teor dos comentários. Os resultados mostram que o engajamento aumentou nas três redes ao longo do tempo, apesar da periodicidade das postagens ser irregular. As postagens mais recorrentes são sobre os artigos e ensaios publicados pela revista.A Movimento possui amplo alcance nacional e moderado alcance internacional, contando com a interação de perfis acadêmico, social e institucional. Conclui que as postagens com maior engajamento são as que veiculam temas atuais. O Twitter é a rede que apresenta maior engajamento com um grupo formado por perfil social, apesar de manifestar menor interatividade. O Facebook é a rede que apresenta maior engajamento de perfil acadêmico. O Instagram é a rede que suscita maior interação e engajamento no geral.
“…Embora os estudos apontem a importância da Altmetria para o monitoramento da atenção social de publicações científicas e a função democrática desse método de avaliação, Barata (2019) em um estudo de abordagem teórica aponta limitações da Altmetria para a ciência praticada na América Latina. Segundo a autora, a altmetria não tem sido capaz de retratar a atenção que artigos científicos brasileiros recebem nas redes sociais, apesar de haver esforços por parte das revistas em divulgação científica e do relativo engajamento social que conseguem mobilizar.…”
Section: Revisão Sistemática Sobre Métricas Alternativasunclassified
O objetivo desta pesquisa é realizar uma revisão sistemática na literatura sobre Altmetria indexada na base de dados Scopus, com o intuito de delinear um panorama do que tem sido discutido no âmbito nacional. A metodologia da revisão sistemática foi adotada por permitir maior controle e direcionamento das etapas que constituem o levantamento bibliográfico e a análise de dados. Ao total de registros recuperados foram estabelecidos critérios para elegibilidade e aplicados filtros para a análise documental. Após essas etapas, sínteses foram geradas a fim de representar as ideias principais dos documentos. Os resultados demonstram que os pesquisadores brasileiros com publicações indexadas na Scopus sobre Altmetria buscaram conceituar e entender os preceitos teóricos dessa abordagem quantitativa, bem como mapear o impacto social de áreas e disciplinas por meio de indicadores altmétricos. Conclui-se que pela abrangência da pesquisa ainda não é suficiente fazer prospecções a respeito do direcionamento da Altmetria na literatura nacional, muito embora a literatura analisada sinalize que a Altmetria tem se firmado como abordagem metodológica, apesar de suas críticas e limitações.
scite is a Brooklyn-based organization that helps researchers better discover and understand research articles through Smart Citations–citations that display the context of the citation and describe whether the article provides supporting or contrasting evidence. scite is used by students and researchers from around the world and is funded in part by the National Science Foundation and the National Institute on Drug Abuse of the National Institutes of Health.