Reliability and Predictive Validity of a Comprehensive Preclinical OSCE in Dental Education

Abstract

This study examined the reliability and predictive validity of a comprehensive, multidisciplinary objective structured clinical examination (OSCE) used to assess the transition from preclinical to clinical education in a dental school. The examination is administered prior to clinical training at the Columbia University College of Dental Medicine to assess student preparedness for patient care activity. The study population consisted of seventy-ive students in the Class of 2010 and seventy students in the Class of 2011. The total reliability of the exam was assessed by Cronbach's coeficient alpha. Using polynomial regression, the predictive validity of the examination was evaluated by correlating student scores on the OSCE with clinical performance as measured by successfully completed clinical procedures during the irst year of clinical training. Findings indicate a highly reliable exam (α=0.86 and α=0.80) with a moderately high correlation predicting future clinical performance (r=0.614, p<0.0001; r=0.540, p<0.0001) for the Classes of 2010 and 2011, respectively. The indings suggest that an OSCE can serve as a reliable and predictive assessment during the transition from preclinical to clinical education in the predoctoral dental curriculum.

Percepção do estudante sobre a implantação do método OSCE no curso de Odontologia em uma universidade particular

“…No entanto, existem algumas desvantagens em relação ao método, que também foram observadas no presente estudo. Dentre elas estão o tempo reduzido de permanência nas estações, a impossibilidade de simular procedimentos invasivos em pacientes reais, ansiedade dos estudantes, dificuldade de mobilização de um grande número de examinadores e pacientes/atores, assim como custo mais elevado em comparação aos outros métodos de avaliação [17][18][19] .…”

“…No primeiro bimestre apenas metade dos estudantes concordavam (50%), já no quarto bimestre houve um aumento significativo no número de alunos que concordaram com essa pergunta (82,8%). Os relatos dos estudantes após o término dessa experiência foram de que o OSCE é uma avaliação mais objetiva e aproximada da realidade de atividade clínica, concordando com a literatura [18][19][20][21] .…”

“…Essa autoavaliação e feedback são instrumentos válidos para melhorar a percepção do estudante no que se refere ao seu próprio desempenho. Esses critérios avaliativos já foram analisados com excelentes resultados 19,20 .…”

O OSCE na avaliação clínica odontológica: relato de experiência com estudantes de graduação

“…No entanto, algumas desvantagens do método são o tempo reduzido das estações, a impossibilidade de simular procedimentos invasivos em pacientes reais, ansiedade dos alunos, dificuldade de mobilização de um grande número de examinadores e pacientes, assim como alto custo 10,11,21 .…”

“…Assim, este exame é fundamental para a identificação de lacunas nas habilidades clínicas dos alunos e corrigir estas deficiências. Além disso, esta avaliação permite que os alunos reflitam sobre seu desempenho, com feedback imediato de seus erros e acertos [8][9][10] .…”