Teste de Progresso em Consórcios para Todas as Escolas Médicas do Brasil

Bicudo, Angélica Maria; Filho, Pedro Tadao Hamamoto; Abbade, Joélcio Francisco; Hafner, Maria de Lourdes Marmorato Botta; Maffei, Carlos Eduardo Moreira

doi:10.1590/1981-52712015v43n4rb20190018

Cited by 33 publications

(49 citation statements)

References 18 publications

(19 reference statements)

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…It now includes the following schools: UNICAMP, UNESP, USP (Ribeirão Preto and Bauru campi), UNIFESP, UFSCAR, FAMEMA, FAMERP, UEL, and FURB. 22 The consortium employs a standardized blueprint, suitable for newly-qualified physicians. The exam has 120 multiple-choice questions, divided equally between six subject areas: basic sciences, internal medicine, pediatrics, surgery, obstetrics and gynecology, and public health.…”

Section: Experience Report Progress Testing Methodsmentioning

confidence: 99%

Improvement of Faculty’s Skills on the Creation of Items for Progress Testing Through Feedback to Item Writers: a Successful Experience

Filho

Bicudo

2020

Rev. bras. educ. med.

Self Cite

View full text Add to dashboard Cite

The evaluation of knowledge is an important step in the teachers’ work, because it is fundamental that the evaluation results be valid and reliable. Several faculty development programs have been undertaken to improve teachers’ skills on item writing. Few studies, however, have explored the benefits of providing feedback to multiple-choice item writers. Progress Testing is a longitudinal assessment of students’ knowledge gain. Their results are useful for generating feedback to students, teachers and medical school managers. The aim of this report is to present a successful experience of faculty development on high-quality item writing for Progress Testing through feedback about the fate of the items written by faculty members. Annually, faculties from medical schools participating in a consortium for the application of the Progress Test are asked to formulate new items to compose the test version. However, the fate of the items is not known by their authors, that is, they do not know if the items are incorporated into the test, if the items have good quality, what is the students’ performance in each of the items, and what is the psychometric function of the items. In 2017, one of the schools participating in the consortium offered its item authors a feedback regarding the flaws in item writing, modification of items by the review committee and students’ performance, as well as psychometric function in each item. The percentage of flawed item (items without enough quality to be selected for the test) was more than 30%. There was an inverse relation between the number of flawed item and the number of items included in the final exam, when analyzing the different content areas of the test (that is, Internal Medicine, Surgery, Pediatrics, Obstetrics and Gynecology, Public Health, and Basic Sciences). In the following year, we observed a decrease in the number of flawed item (less than 10%) and an increase in the number of eligible items to be selected for the Progress Testing. Therefore, giving feedback to item writers seems to be a good strategy for developing the faculty’s ability on writing good quality items.

show abstract

Section: Experience Report Progress Testing Methodsmentioning

confidence: 99%

Improvement of Faculty’s Skills on the Creation of Items for Progress Testing Through Feedback to Item Writers: a Successful Experience

Filho

Bicudo

2020

Rev. bras. educ. med.

Self Cite

View full text Add to dashboard Cite

show abstract

“…[12][13][14] They have been gaining greater attention over the last five years because of the Brazilian Association of Medical Education's efforts to improve the quality of medical students' evaluations throughout the country. 15 Therefore, progress tests give rise to a good opportunity for studying the psychometric properties of assessment items.…”

Section: Introductionmentioning

confidence: 99%

Relationships between Bloom’s taxonomy, judges’ estimation of item difficulty and psychometric properties of items from a progress test: a prospective observational study

Filho

Silva²,

Ribeiro

et al. 2020

Sao Paulo Med. J.

Self Cite

View full text Add to dashboard Cite

BACKGROUND: Progress tests are longitudinal assessments of students' knowledge based on successive tests. Calibration of the test difficulty is challenging, especially because of the tendency of item-writers to overestimate students' performance. The relationships between the levels of Bloom's taxonomy, the ability of test judges to predict the difficulty of test items and the real psychometric properties of test items have been insufficiently studied. OBJECTIVE: To investigate the psychometric properties of items according to their classification in Bloom's taxonomy and judges' estimates, through an adaptation of the Angoff method. DESIGN AND SETTING: Prospective observational study using secondary data from students' performance in a progress test applied to ten medical schools, mainly in the state of São Paulo, Brazil. METHODS: We compared the expected and real difficulty of items used in a progress test. The items were classified according to Bloom's taxonomy. Psychometric properties were assessed based on their taxonomy and fields of knowledge. RESULTS: There was a 54% match between the panel of experts' expectations and the real difficulty of items. Items that were expected to be easy had mean difficulty that was significantly lower than that of items that were expected to be medium (P < 0.05) or difficult (P < 0.01). Items with high-level taxonomy had higher discrimination indices than low-level items (P = 0.026). We did not find any significant differences between the fields in terms of difficulty and discrimination. CONCLUSIONS: Our study demonstrated that items with high-level taxonomy performed better in discrimination indices and that a panel of experts may develop coherent reasoning regarding the difficulty of items.

show abstract

“…Críticas frequentes quanto à aplicação da prova do Cremesp são de que se trata de avaliação terminal, somativa, essencialmente cognitiva, sem a avaliação direta do currículo e da qualificação de ensino das instituições que abrigam os cursos de Medicina, e não inclui a avaliação de médicos já em atividade. Propostas como a implantação do teste do progresso em nível nacional 3 , em conjunto com avaliação externa dos cursos, poderiam ser mais adequadas, pois, pelo fato de a reprovação no exame do Cremesp não impedir a obtenção do registro profissional, pode-se especular que os graduandos não se esforçam para o melhor resultado na aplicação 4 . O fato de não haver, no momento, nenhum programa anual de avaliação em nível nacional para os egressos pode contribuir para a sensação de insegurança quanto à qualificação dos médicos para o exercício profissional.…”

Section: Introductionunclassified

“Nota de Conceito Global” na Avaliação da Performance do Interno de Medicina: uma Oportunidade Desperdiçada

Mota

Nunes

Martin

et al. 2020

Rev. bras. educ. med.

Self Cite

View full text Add to dashboard Cite

Resumo: Introdução: Possuir diploma de médico é o suficiente para o exercício profissional na maioria dos estados brasileiros. A avaliação do desempenho do aluno pelas escolas médicas é, certamente, o mais importante filtro de proficiência profissional em vigência. Assim, é fundamental a utilização de instrumentos de avaliação adequados. Competência é o conjunto de conhecimentos, habilidades e atitudes que permitem uma prática médica de excelência. Diferentemente, performance pode ser definida como o que o indivíduo realmente produz em seu cotidiano. O internato é uma inigualável oportunidade para o acompanhamento preciso dos atributos esperados de um estudante em formação. Quando avaliamos a competência, buscamos medir o quanto o aluno sabe, concebe ou realiza procedimentos em um contexto objetivo de avaliação. Performance é o que efetivamente o indivíduo utiliza de suas competências. Há, portanto, uma maior dificuldade de avaliar performance, pois motivação, disciplina, condições físicas e psíquicas, e outros aspectos vivenciais estão em jogo. Além disso, é necessária uma avaliação constante, o que implica acompanhamento e monitoramento próximos. A Nota de Conceito Global (NCG) é uma das modalidades que permitem, não obstante sua implícita subjetividade, avaliar o desempenho do aluno/estagiário. Para isso, é estratégico que seja construída por meio de nomenclatura padronizada, parâmetros definidos que possibilitem quantificação, levando em conta diferenças existentes entre os diversos projetos políticos pedagógicos. Pela heterogeneidade dos estágios, diferentes contextos da prática da medicina e grande número de sujeitos envolvidos seriam os critérios estabelecidos para a constituição da NCG devidamente padronizados e adequados para avaliar alunos no internato? Método: Neste trabalho, estudamos, por meio dos planos de ensino, como a NCG está estruturada na avaliação de internos de uma instituição e o que pode ser aperfeiçoado e contribuir para o conhecimento do assunto. Resultados: Constatamos que a NCG compõe 30% (quinto ano) e 40% (sexto ano) da Nota Global do Aluno (NGA), que corresponde a uma nota única ao final de cada ano de graduação e leva em conta o desempenho e a carga horária das disciplinas. Adicionalmente, avaliamos os termos utilizados como critérios a serem utilizados para a NCG. A análise dos planos de ensino mostrou que a NCG se mostrou irregular e sem padronização institucional entre as disciplinas; há uma ausência de uniformidade na composição da nota final ou nos critérios a serem avaliados, bem como na aplicação diferenciada dos itens em cada cenário de aprendizado. Conclusões: A falta de uma metodologia uniforme impede o acompanhamento do aluno de forma global, inclusive o quanto a cultura e os valores institucionais poderiam influenciar o desempenho estudantil. Perde-se a oportunidade de realizar uma avaliação efetivamente construtiva. Contudo, a NCG, pela sua natureza subjetiva, poderia, se adequadamente aplicada, ser instrumento fundamental para o diálogo entre professores e alunos em uma avaliação formativa. Dessa forma, pela inserção inadequada, dentro de uma avaliação somativa, perde-se uma grande oportunidade de crescimento do aluno e da própria instituição.

show abstract

Teste de Progresso em Consórcios para Todas as Escolas Médicas do Brasil

Cited by 33 publications

References 18 publications

Improvement of Faculty’s Skills on the Creation of Items for Progress Testing Through Feedback to Item Writers: a Successful Experience

Improvement of Faculty’s Skills on the Creation of Items for Progress Testing Through Feedback to Item Writers: a Successful Experience

Relationships between Bloom’s taxonomy, judges’ estimation of item difficulty and psychometric properties of items from a progress test: a prospective observational study

“Nota de Conceito Global” na Avaliação da Performance do Interno de Medicina: uma Oportunidade Desperdiçada

Contact Info

Product

Resources

About