Background: Script concordance testing (SCT) is an objective method to evaluate clinical reasoning that assesses the ability to interpret medical information under conditions of uncertainty. Many studies have supported its validity as a tool to assess higher levels of learning, but little is known about its acceptability to major stakeholders. The aim of this study was to determine the acceptability of SCT to residents in otolaryngology – head and neck surgery (OTL-HNS) and a reference group of experts.
Methods: In 2013 and 2016, a set of SCT questions, as well a post-test exit survey, were included in the National In-Training Examination (NITE) for OTL-HNS. This examination is administered to all OTL-HNS residents across Canada who are in the second to fifth year of residency. The same SCT questions and survey were then sent to a group of OTL-HNS surgeons from 4 Canadian universities.
Results: For 64.4% of faculty and residents, the study was their first exposure to SCT. Overall, residents found it difficult to adapt to this form of testing, thought that the clinical scenarios were not clear and believed that SCT was not useful for assessing clinical reasoning. In contrast, the vast majority of experts felt that the test questions reflected real-life clinical situations and would recommend SCT as an evaluation method in OTL-HNS.
Conclusion: Views about the acceptability of SCT as an assessment tool for clinical reasoning differed between OTL-HNS residents and experts. Education about SCT and increased exposure to this testing method are necessary to improve residents’ perceptions of SCT.
Contexte: Le test de concordance de script (TCS) est une méthode objective d’évaluation du raisonnement clinique qui mesure la capacité d’interpréter les renseignements médicaux en contexte d’incertitude. Beaucoup d’études en appuient la validité en tant qu’outil pour évaluer l’enseignement supérieur, mais on en sait peu sur son acceptabilité auprès des principales parties prenantes. Le but de cette étude était de déterminer l’acceptabilité du TCS chez les résidents en otorhinolaryngologie – chirurgie de la tête et du cou (ORL – chirurgie tête et cou) et un groupe de référence composé d’experts.
Méthodes: En 2013 et 2016, une série de questions de TCS, de même qu’un questionnaire post-test, ont été inclus dans l’examen national en cours de formation NITE (National In-Training Examination) pour l’ORL – chirurgie tête et cou. Cet examen est administré à tous les résidents en ORL – chirurgie tête et cou au Canada qui sont entre leurs deuxième et cinquième années de résidence. Les mêmes questions de TCS ont été envoyées à un groupe de chirurgiens en ORL – chirurgie tête et cou de 4 université canadiennes.
Résultats: Pour 64,4 % des membres facultaires et des résidents, l’étude était leur première exposition au TCS. Dans l’ensemble, les résidents ont trouvé difficile de s’adapter à cette forme de test, même si les scénarios cliniques étaient clairs, et ils ont estimé que le TCS était peu utile pour évaluer le raisonnement clinique. En revanche, la grande majorité des experts ont jugé que les questions du test reflétaient la réalité des cas cliniques et recommanderaient le TCS comme méthode d’évaluation en ORL – chirurgie tête et cou.
Conclusion: Entre les résidents et les experts en ORL – chirurgie tête et cou, les points de vue quant à l’acceptabilité du TCS comme outil d’évaluation du raisonnement clinique ont différé et il faudrait y exposer les résidents davantage pour améliorer leur perception du TCS.
© 2021 CMA Joule Inc. or its licensors