Background: Simulation-based teamwork trainings are considered a powerful training method to advance teamwork, which becomes more relevant in medical education. The measurement of teamwork is of high importance and several instruments have been developed for various medical domains to meet this need. To our knowledge, no theoretically-based and easy-to-use measurement instrument has been published nor developed specifically for simulation-based teamwork trainings of medical students. Internist ward-rounds function as an important example of teamwork in medicine.
Purposes: The purpose of this study was to provide a validated, theoretically-based instrument that is easy-to-use. Furthermore, this study aimed to identify if and when rater scores relate to performance.
Methods: Based on a theoretical framework for teamwork behaviour, items regarding four teamwork components (Team Coordination, Team Cooperation, Information Exchange, Team Adjustment Behaviours) were developed. In study one, three ward-round scenarios, simulated by 69 students, were videotaped and rated independently by four trained raters. The instrument was tested for the embedded psychometric properties and factorial structure. In study two, the instrument was tested for construct validity with an external criterion with a second set of 100 students and four raters.
Results: In study one, the factorial structure matched the theoretical components but was unable to separate Information Exchange and Team Cooperation. The preliminary version showed adequate psychometric properties (Cronbach's α=.75). In study two, the instrument showed physician rater scores were more reliable in measurement than those of student raters. Furthermore, a close correlation between the scale and clinical performance as an external criteria was shown (r=.64) and the sufficient psychometric properties were replicated (Cronbach's α=.78).
Conclusions: The validation allows for use of the simulated teamwork assessment scale in undergraduate medical ward-round trainings to reliably measure teamwork by physicians. Further studies are needed to verify the applicability of the instrument.
Hintergrund: Simulationsbasierte Teamarbeitstrainings werden als eine wirkungsvolle Methode betrachtet um Teamarbeit, zu verbessern. Teamarbeit wird in der medizinischen Ausbildung immer relevanter. Auch die Messung von Teamarbeit ist daher sehr wichtig und verschiedene Instrumente wurden für verschiedene medizinische Fachdisziplinen entwickelt, um diesen Zweck zu erfüllen. Unseres Wissens nach ist bisher kein theoriebasiertes und einfach anzuwendendes Messinstrument spezifisch für simulationsbasierte Teamarbeitstrainings von Medizinstudierenden publiziert oder entwickelt worden. Internistische Visiten fungieren als ein wichtiges Beispiel von Teamarbeit in der Medizin.Ziel: Das Ziel der Studie war ein validiertes, theoriebasiertes Instrument zu entwickeln, welches einfach anzuwenden ist. Weiterhin sollte in der Studie untersucht werden, ob und wann die Bewertungen von Ratern mit klinischer Performanz in Zusammenhang stehen.Methoden: Basierend auf einem theoretischen Rahmenmodell für Teamarbeitsverhalten wurden Items zu vier Teamarbeitskomponenten entwickelt (Teamkoordination, Teamkooperation, Informationsaustausch, Verhaltensweisen zur Teamanpassung). In Studie eins wurden drei Visitenszenarien, simuliert von 69 Studierenden, gefilmt und unabhängig von vier trainierten Ratern bewertet. Das Instrument wurde auf seine psychometrischen Eigenschaften und die faktorielle Struktur hin untersucht. In Studie zwei wurde die Konstruktvalidität des Instruments anhand eines externen Kriteriums mit einem zweiten Set von 100 Studierenden und vier Ratern überprüft.Ergebnisse: In Studie eins passte die faktorielle Struktur zu den theoretischen Komponenten, jedoch konnte Informationsaustausch und Teamkooperation nicht separiert werden. Die vorläufige Version zeigte ausreichende psychometrische Eigenschaften (Cronbach’s α=,75). In Studie zwei waren die ärztlichen Bewertungen reliabler als die studentischen Bewertungen. Weiterhin konnte eine enger Zusammenhang zwischen der Skala und klinischer Performanz als einem externen Kriterium (r=,64) gezeigt werden und die ausreichend hohen psychometrischen Eigenschaften konnten repliziert werden (Cronbach’s α=,78).Schlussfolgerungen: Die Validierung gestattet den Einsatz der Teamarbeitsskala in Visitentrainings von Studierenden, um Teamarbeit reliabel von Ärztinnen und Ärzten einschätzen zu lassen. Weitere Studien sind notwendig, um die Anwendbarkeit des Instruments zu verifizieren.
Keywords: medical education; simulation-based training; teaching and learning; team performance measurement; team training.