Introduction: Competency-based medical education requires robust assessment in authentic clinical environments. Using work-based assessments, entrustment scales have emerged as a means of describing a trainee's ability to perform competently. Nevertheless, psychometric properties of entrustment-based assessment are relatively unknown, particularly in anesthesiology. This study assessed the generalizability and extrapolation evidence for entrustment scales within a program of assessment during anesthesiology training.
Methods: Entrustment scores were collected during the first seven blocks of training for three resident cohorts. Entrustment scores were assessed during daily evaluations using a Clinical Case Assessment Tool (CCAT) within the preoperative, intraoperative, and postoperative setting. The reliability of the entrustment scale was estimated using generalizability theory. Spearman's correlations measured the relationship between median entrustment scores and percentiles scores on the Anesthesia Knowledge Test (AKT)-1 and AKT-6, mean Objective Structured Clinical Examination (OSCE) scores, and rankings of performance by the Clinical Competence Committee (CCC).
Results: Analyses were derived from 2,309 CCATs from 35 residents. The reliability or generalizability (G) coefficient of the entrustment scale was 0.73 (95% confidence interval [CI], 0.70 to 0.76), and the internal consistency was 0.86 (95% CI, 0.84 to 0.88). Intraoperative entrustment scores significantly correlated with the AKT-6 (rho = 0.51, P = 0.01), mean OSCE (rho = 0.45, P = 0.04), and CCC performance rankings (rho = 0.52, P = 0.006).
Conclusion: As part of an assessment program, entrustment scales used early during anesthesiology training showed evidence of validity. Intraoperative entrustment scores had good reliability and showed acceptable internal consistency. Interpreting entrustment scores in this setting may constitute a valuable adjunct complementing traditional summative evaluations.
RéSUMé: INTRODUCTION: La formation médicale fondée sur les compétences nécessite une évaluation rigoureuse dans des environnements cliniques authentiques. Se fondant sur des évaluations basées sur le travail, les échelles de confiance sont apparues comme une méthode pour décrire la capacité d’un résident à performer de façon compétente. Toutefois, les propriétés psychométriques de l’évaluation basée sur la confiance sont relativement peu connues, particulièrement en anesthésiologie. Cette étude a évalué les données de généralisabilité et d’extrapolation des échelles de confiance dans le cadre d’un programme d’évaluation pendant la formation en anesthésiologie. MéTHODE: Les notes sur les échelles de confiance ont été colligées pendant les sept premiers blocs de formation de trois cohortes de résidents. Les notes sur les échelles de confiance ont été évaluées pendant les évaluations quotidiennes à l’aide d’un Outil d’évaluation des compétences cliniques (CCAT – Clinical Case Assessment Tool) dans les cadres préopératoire, peropératoire et postopératoire. La fiabilité de l’échelle de confiance a été estimée à l’aide de la théorie de la généralisabilité. Les corrélations de Spearman ont mesuré la relation entre des notes moyennes sur l’échelle de confiance et les scores de percentile aux examens de connaissances en anesthésiologie AKT-1 et AKT-6, les scores moyens à l’Examen clinique objectif structuré (ECOS), et les classements de performance par le Comité de compétences cliniques (CCC). RéSULTATS: Les analyses ont été dérivées à partir de 2309 résultats CCAT de 35 résidents. Le coefficient de fiabilité ou de généralisabilité (G) de l’échelle de confiance était de 0,73 (intervalle de confiance [IC] 95 %, 0,70 à 0,76), et la cohérence interne était de 0,86 (IC 95 %, 0,84 à 0,88). Les scores de confiance peropératoires étaient corrélés de manière significative aux scores sur l’AKT-6 (rho = 0,51, P = 0,01), aux scores moyens à l’ECOS (rho = 0,45, P = 0,04) et aux classements de performance du CCC (rho = 0,52, P = 0,006). CONCLUSION: Dans le cadre d’un programme d’évaluation, la validité des échelles de confiance utilisées en début de la formation en anesthésiologie a été éprouvée. Les scores de confiance peropératoires ont démontré une bonne fiabilité et une cohérence interne acceptable. L’interprétation des scores de confiance dans ce cadre pourrait constituer un ajout précieux qui complèterait les évaluations sommatives.
Keywords: anesthesiology; competency-based medical education; entrustment; performance evaluation; work-based assessment.