The Validity Concept in Medical Education: a Bibliometric Analysis

Abstract

Introduction: Assessment is a critical part of learning and validity is arguably its most important aspect. However, different views and beliefs led to a fragmented conception of the validity meaning, with an excessive focus on psychometric methods and scores, neglecting the consequences and utility of the test. The last decades witnessed the creation of a significant number of tests to assess different aspects of the medical profession formation, but researchers frequently limit their conclusions to the consistency of their measurements, without any further analysis on the educational and social impacts of the test. The objective of this work is to determine the predominant concept of validity in medical education assessment studies. Method: The authors conducted a bibliometric research of the literature about studies on the assessment of learning of medical students, to determine the prevalent concept of validity. The research covered a period from January 2001 to august 2019. The studies were classified in two categories based on their approach to validity: (1)” fragmented validity concept” and (2)” unified validity concept”. To help with validity arguments, the studies were also classified based on Miller’s framework for clinical assessment. Results: From an initial search resulting in 2823 studies, 716 studies were selected based on the eligibility criteria, and from the selected list, of which 693 (96,7%) were considered studies of the fragmented validity concept, which prioritized score results over an analysis of the test's utility, and only 23 studies (3,2%) were aligned with a unified view of validity, showing an explicit analysis of the consequences and utility of the test. Although the last decade witnessed a significant increase in the number of assessment studies, this increase was not followed by a significant change in the validity concept. Conclusions: This bibliometric analysis demonstrated that assessment studies in medical education still have a fragmented concept of validity, restricted to psychometric methods and scores. The vast majority of studies are not committed to the analysis about the utility and educational impact of an assessment policy. This restrictive view can lead to the waste of valuable time and resources related to assessment methods without significant educational consequences.

Onze anos de Teste de Progresso na Unicamp: um estudo sobre a validade do teste

“…Royal 9 , ao realizar uma busca geral no banco de dados PubMed sobre estudos de avaliação do ensino em estudantes de Medicina, encontrou a expressão "instrumento confiável" mais de duas mil vezes em um período de apenas cinco anos. Souza et al 10 , em uma análise bibliométrica sobre o atual conceito de validade na educação médica, concluíram que 96% dos estudos ainda apresentam um conceito fragmentado de validade, limitandose basicamente aos resultados do processo de testagem, sem explicitar uma análise das consequências e utilidade dos testes. Essa fragmentação do conceito decorre da confusão que frequentemente acontece entre os termos "validação" e Como se trata de uma série histórica e, portanto, sem a possibilidade de determinação prévia de critérios para cada prova, a fim de minimizar as diferenças entre os diversos graus de dificuldade dos diferentes testes, os escores individuais de cada turma foram organizados a partir de normorreferenciamento 13 .…”

Onze anos de teste de progresso na UNICAMP

“…Royal realizando uma busca geral no banco de dados Pub Med em um período de cinco anos, encontrou o termo "instrumento confiável" mais de duas mil vezes [30]. Souza e colaboradores em uma análise bibliométrica sobre o atual conceito de validade na educação médica concluiu que 96% dos estudos ainda apresentam um conceito fragmentado de validade, limitando-se basicamente aos resultados do processo de avaliação e sem explicitar uma análise das consequências e utilidade dos testes [45].…”

“…A análise dos estudos de validade de testes empregados em escolas médicas de todo o mundo, e publicadas na plataforma PubMed de 2001 a 2019, revelou que mais de 96% dos trabalhos apresentam um conceito fragmentado de validade, limitando-se a apresentar os resultados dos escores e seus índices de fidedignidade, sem relatarem uma análise dos construtos e de sua utilidade prática no dia a dia da escola [45].…”

“…Destacamos como uma primeira conclusão sobre a validade do TP Unicamp, a falta de utilidade do testes na tomada de decisões que tenham consequências mais significativas na vida do acadêmico de Medicina. Repete-se aqui uma tendência comum na educação médica no entendimento da validade, onde ela é vista somente como um meio para interpretação dos escores de um teste e não como o uso dos resultados em decisões pedagógicas significativas [4,45].…”