Assessment in the Context of Uncertainty Using the Script Concordance Test: More Meaning for Scores

Charlin, Bernard; Gagnon, Robert; Lubarsky, Stuart; Lambert, Carole; Meterissian, Sarkis; Chalk, Colin; Goudreau, Johanne; Vleuten, Cees van der

doi:10.1080/10401334.2010.488197

Cited by 52 publications

(62 citation statements)

References 16 publications

(16 reference statements)

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…There were no deviate responses in the expert panel. Since all expert scores were within 2 standard deviations (SD) of the mean, all were included as part of the final panel (Charlin et al 2010).…”

Section: Scoring and Establishment Of Expert Panelmentioning

confidence: 99%

Assessing intraoperative judgment using script concordance testing through the gynecology continuum of practice

et al. 2014

View full text Add to dashboard Cite

Objective: To measure surgical judgment across the Obstetrics and Gynecology (OBGYN) continuum of practice and identify factors that correlate with improved surgical judgment. Methods: A 45-item written examination was developed using script concordance theory, which compares an examinee's responses to a series of ''ill-defined'' surgical scenarios to a reference panel of experts. The examination was administered to OBGYN residents, Female Pelvic Medicine and Reconstructive Surgery (FPMRS) fellows, practicing OBGYN physicians and FPMRS experts. Surgical judgment was evaluated by comparing scores against the experts. Factors related to surgical experience were measured for association with scores. Results: In total, 147 participants including 11 residents, 37 fellows, 88 practicing physicians and 11 experts completed the 45-item examination. Mean scores for practicing physicians (65.2 AE 7.4) were similar to residents (67.2 AE 7.1), and worse than fellows (72.6 AE 4.2, p50.

show abstract

Section: Scoring and Establishment Of Expert Panelmentioning

confidence: 99%

Assessing intraoperative judgment using script concordance testing through the gynecology continuum of practice

et al. 2014

View full text Add to dashboard Cite

show abstract

“…Les auteurs du TCS à l'Université de Montréal ont choisi la conduite suivante pour sanctionner les résidents en médecine de famille [9] : « Un résident est une personne qui aspire à faire partie de la population des médecins de famille. La moyenne et l'écart-type du panel de référence (ce panel de référence étant assimilé à un échantillon de la population des médecins de famille) sont calculés.…”

Section: Question 9 Dans Un Test De Concordance De Script Certificatiunclassified

Le test de concordance de script en 20 questions

et al. 2013

Self Cite

View full text Add to dashboard Cite

Résumé -Objectif : Le présent article se donne comme objectif de répondre, en 20 questionsréponses, aux principales préoccupations que les équipes d'enseignants potentiellement intéressées par le test de concordance de script (TCS) peuvent se poser. Les questions et objections souvent rapportées par les étudiants sont également prises en compte. Exégèse : Les principes qui sous-tendent le TCS sont rappelés. Ses atouts et ses limites sont évoqués. Les étapes de construction, de validation, de passation, de calcul de la note sont développées. Les auteurs illustrent le propos en s'appuyant sur une expérience concrète menée au Département de médecine générale de l'Université de Liège. Abstract -Objective:Most teacher concerns about Script Concordance Tests (SCT) are the object of some 20 questions and answers. The questions and objections most commonly reported by students are also taken into account. Analysis: The principles of SCT are described. Their strengths and limitations are discussed. The steps in designing, validating, testing and calculating scores are developed. The authors depict the concepts based an experiment led in the

show abstract

“…On a notamment pu mettre en évidence une progression des scores selon qu'il est administré respectivement à des étudiants en méde-cine, à des internes et à des praticiens expérimen-tés [4][5][6][7][8] . Les modalités techniques de construction et d'administration d'un test sont également bien connues [9][10][11][12][13][14] .…”

Section: Introductionunclassified

Utilisation du test de concordance de script au cours du deuxième cycle des études médicales : expérience dans l’enseignement de la neurochirurgie

2011

View full text Add to dashboard Cite

Manuscrit reçu le 12 février 2011 ; commentaires éditoriaux formulés aux auteurs le 30 mars 2011 ; accepté pour publication le 28 avril 2011 Mots clés :Test de concordance de script ; deuxième cycle des études médicales ; raisonnement clinique ; neurochirurgie Résumé -Contexte. Le test de concordance de script, largement diffusé en troisième cycle et en formation médicale continue, n'est en revanche pas utilisé au cours du deuxième cycle des études médicales. Objectifs. Le but de ce travail est d'évaluer si le test de concordance de script peut être utilisé pour classer les étudiants en formation initiale de médecine. Matériel et méthodes. Un test constitué de trente items de neurochirurgie est soumis à 75 étudiants à l'issue d'un stage hospitalier de neurochirurgie (43 étudiants de deuxième année -DCEM2 -, 20 de troisième année -DCEM3 -et 12 de quatrième année -DCEM4 -du deuxième cycle des études médicales). Résultats. Les scores moyens (sur 100 points) étaient de 51,84 ± 8,22, 54,94 ± 7,30 et 59,78 ± 6,08 respectivement pour les trois groupes d'étudiants. L'analyse de variance mettait en évidence une différence globalement significative entre les groupes (p = 0,0076). Les tests post-hoc réalisés avec le test t de Student n'ont mis en évidence qu'une différence significative 2 à 2 entre les groupes DCEM2 vs. DCEM4 (p = 0,003). Conclusion. Nos résultats suggèrent que le test de concordance de script peut montrer une progression des capacités de raisonnement clinique au cours du deuxième cycle. Cela pose la question de son utilisation éventuelle dans le cadre des épreuves classantes nationales françaises. Keywords:Script concordance test; medical students; clinical reasoning; neurosurgery Abstract -Background. Script concordance tests are widely used to assess clinical reasoning among residents and senior physicians, but not among medical students. Objective. The aim of this study was to determine if script concordance tests can be used to rank students during their initial medical training. Materials and methods. A 30-item test was completed by a group of 75 medical students (43 fourth-, 20 fifth-and 12 sixth-year students) at the end of a training clerkship. Results. The mean scores were respectively: 51. 84±8.22, 54.94±7.30 and Article publié par EDP Sciences 59.78 ± 6.08. The variance analysis identified a significant overall difference between groups (p = 0.0076). Post-hoc student t-tests, using the Bonferroni correction to assess significance (p < 0.017), identified only one difference between the DCEM2 and DCEM4 groups (p = 0.003). Conclusion. Our data suggest that script concordance tests could be used to assess the acquisition of clinical reasoning among fourth-to sixth-year medical students. If our results are confirmed by other studies, script concordance tests could be considered for the French final national ranking examination.

show abstract

Assessment in the Context of Uncertainty Using the Script Concordance Test: More Meaning for Scores

Cited by 52 publications

References 16 publications

Assessing intraoperative judgment using script concordance testing through the gynecology continuum of practice

Assessing intraoperative judgment using script concordance testing through the gynecology continuum of practice

Le test de concordance de script en 20 questions

Utilisation du test de concordance de script au cours du deuxième cycle des études médicales : expérience dans l’enseignement de la neurochirurgie

Contact Info

Product

Resources

About