Manuscrit reçu le 31 août 2010 ; commentaires éditoriaux formulés aux auteurs le 13 février 2011 ; accepté pour publication le 2 mai 2011
Mots clés :Habiletés non cognitives ; admission ; études postdoctorales ; qualité édumétrique ; MEM Résumé -Contexte : De plus en plus d'importance est accordée aux habiletés non cognitives dans le rôle du médecin. Cette réalité se reflète dans les programmes de formation ainsi que lors de la sélection des candidats dans les programmes de médecine. Les programmes de dermatologie de trois universités québécoises ont conjointement élaboré un instrument de sélection pour évaluer les habiletés non cognitives de leurs candidats. Afin de limiter les effets dus aux juges, un devis d'évaluation avec plusieurs juges par station a été réalisé. But : Le but de l'étude est d'évaluer l'impact de ce devis d'évaluation sur les qualités édumétriques de l'instrument. Sujets/matériel/méthodes : Dix-huit participants ont été rencontrés lors du processus de sélection des candidats de dermatologie. L'instrument utilisé, soit des minientrevues structurées, était organisé en trois stations comportant chacune quatre questions évaluées par quatre juges. Résultats : L'instrument offre un bon accord interjuge (M = 0,79, ET = 0,11) et une fidélité acceptable (alpha de Cronbach = 0,70). La performance des candidats est correlée plus fortement entre les questions d'une même station qu'entre les questions de stations différentes. Conclusion : Ces derniers résultats suggèrent la présence d'un effet de halo chez les juges lorsqu'ils évaluent un même candidat sur différentes questions. Ainsi, des observations indépendantes ou un entraînement des juges devraient être privilégiées pour pallier cette influence. Les efforts mis dans le cadre de l'élaboration de l'instrument ont permis néanmoins de contribuer à un processus de sélection fidèle.Article publié par EDP Sciences
Keywords:Non-cognitive abilities; admission; post-graduate education; psychometrics; MMI Abstract -Context: The role of physicians has expanded over the last decade and there is increased recognition of the importance of non-cognitive abilities. Programs and admission processes are changing to reflect that new reality. Three French-speaking Quebec universities joined forces to develop a tool used in the selection process for their dermatology programs. A multiple-rater evaluation design was proposed to reduce rater effect. Purpose: The goal of this study was to investigate the impact of the evaluation design on the psychometric qualities of the tool. Subjects/Materials/Methods: Eighteen candidates were met during the selection process. The mini-structured interview tool was made up of three stations, each consisting of four questions. Results: The inter-rater reliability was good (mean ICC = 0.79, SD = 0.11), and the reliability was acceptable (Cronbach's Alpha = 0.70). Candidates' performance between questions of a given station correlated significantly more than their performance between questions of different stations. Conclusion: The resul...