Does the Implementation of Competency-Based Medical Education Impact the Quality of Narrative Feedback? A Retrospective Analysis of Assessment Data in a Canadian Internal Medicine Residency Program

Abstract

Background: As training programs implement competency-based models of training oriented around entrustable professional activities (EPAs), the role of traditional assessment tools remains unclear. While rating scales remain emphasized, few empirical studies have explored the utility of narrative comments between methods and models of training. Objective: Compare the quality of narrative comments between in-training evaluation reports (ITERs) and workplace-based assessments (WBAs) of EPAs before and after the formal implementation of a competencybased model of training. Methods: Retrospective analysis of assessment data from 77 residents in the core Internal Medicine (IM) residency program at the University of Calgary between 2015 and 2020, including data collected during a 2-year pilot of WBAs before the official launch of Competency by Design on July 1, 2019. The quality of narrative comments from 2,928 EPAs and 3,608 ITERs was analyzed using the standardized Completed Clinical Evaluation Report Rating (CCERR). Results: CCERR scores were higher on EPAs than ITERs [F (26,213) = 210, MSE = 4,541, p < 0.001, η2 = 0.064]. CCERR scores for EPAs decreased slightly upon formal implementation of Competence by Design but remained higher than the CCERR scores for ITERs completed at that period of time. Conclusions: The quality of narrative comments may be higher on EPAs than traditional ITER evaluations. While programmatic assessment requires the use of multiple tools and methods, programs must consider whether such methods lead to complementarity or redundancy. Résumé Contexte: Alors que les programmes de formation mettent en œuvre des modèles de formation axés sur les compétences et orientés en fonction des activités professionnelles confiables (APC), le rôle des outils d’évaluation traditionnels reste flou. Si les échelles de notation restent privilégiées, peu d’études empiriques explorent l’utilité des commentaires narratifs entre les méthodes et les modèles de formation. Objectif: Comparer la qualité des commentaires narratifs entre les fiches d’évaluation en cours de formation (FECF) et les évaluations des APC sur le lieu de travail avant et après la mise en œuvre officielle d’un modèle de formation axé sur les compétences. Méthodologie: Analyse rétrospective des données d’évaluation de 77 résidents du programme de résidence en médecine interne tronc commun de l’Université de Calgary entre 2015 et 2020, comprenant les données recueillies au cours d’un projet pilote de deux ans d’évaluations en milieu de travail avant le lancement officiel de l’initiative La compétence par conception, le 1er juillet 2019. La qualité des commentaires narratifs de 2,928 APC et de 3,608 FECF a été analysée à l’aide du Completed Clinical Evaluation Report Rating (CCERR) normalisé. Résultats: Les scores du CCERR sont plus élevés pour les APC que pour les FECF [F (26,213) = 210, rétroac-tion multisources = 4,541, p < 0.001, η2 = 0.064]. Les scores du CCERR pour les APC diminuent légèrement au moment de la mise en œuvre officielle de l’initiative La compétence par conception, mais demeurent plus élevés que ceux pour les FECF effectuées à cette période. Conclusions: La qualité des commentaires narratifs serait meilleure pour les APC que pour les FECF traditionnelles. Bien que l’évaluation des programmes nécessite l’utilisation de multiples outils et méthodes, les programmes doivent se demander si l’utilisation de telles méthodes se veut complémentaire ou redondante.

Implementation of Entrustable Professional Activities in General Surgery

“…12 EPAs are also part of Canada's Competence by Design training program across all specialties and levels, although specific information about content and implementation is limited. 13,14 This pilot of EPAs in general surgery programs across the United States is one of the first reports of large-scale implementation in US graduate medical education and the first in a procedural discipline. [15][16][17][18] It provides valuable information about the practical implementation of competency-based education as well as the performance of the general surgeryspecific EPAs.…”

“…Similar to Halsted’s original concept, EPAs were imported from Europe and have been implemented across all specialties in the Netherlands 12 . EPAs are also part of Canada’s Competence by Design training program across all specialties and levels, although specific information about content and implementation is limited 13,14 …”