Background: The ongoing changes in learning and education towards digitalisation have been rapidly accelerated by the COVID-19 pandemic. Especially in dental education where contact to the oral cavity is an integral part of training the chosen digital examination methods and training formats must undergo high requirements to full fill the goal of a real alternative to face-to-face exams. Therefore, this study compared student performance in a newly developed Tele-OSCE with a prior OSCE examinations in presence within an oral- and maxillofacial surgery curriculum.
Methods: Study participants were fourth-year (in a five year curriculum) dental students and board certified maxillofacial surgeons (examiners) that took part in a newly developed Tele-OSCE that comprised three five-minute stations (structured facial examination, management mandibular fracture and squamous cell carcinoma) using the zoom® software. Student performance was measured using validated OSCE-Checklists and compared to a previous OSCE examination from the winter term 2019 with the same OSCE stations that was conducted in presence. Significant differences were tested using the Mann-Whitney U test. Furthermore, the new Tele-OSCE was evaluated by students and examiners using previously developed questionnaires.
Results: Sixty-six dental students (study group: n=34, summer term 2021, control group: n=32 winter term 2019) and nine examiners participated in the study. Compared to previous non-pandemic OSCEs, there were no significant (p=0.53) differences in overall student performance. Evaluation of the Tele-OSCE showed that the demonstration and rating of practical skills was limited due to missing standard patients or phantoms, however, students did not fear to be misjudged. The demonstration and rating of anamnestic and consultation competencies was seen as unproblematic by students and examiners.
Discussion: This pilot-study showed the feasibility of a Tele-OSCE as a formative examination in dental education. However, both students and examiners felt that the demonstration and assessment of practical skills was limited due the new examination format. Nevertheless, Tele-OSCEs might offer an alternative to enable students to complete their dental training.
Hintergrund: Der stetige Wandel hin zur Digitalisierung im Bildungswesen wurde durch die Covid-19 Pandemie rasant beschleunigt. In der zahnmedizinischen Ausbildung, wo der Kontakt zur Mundhöhle integraler Bestandteil der klinischen Lehre ist, müssen die gewählten digitalen Lehrformate jedoch hohen Anforderungen unterliegen, um eine sinnvolle Alternative zur Präsenzlehre darzustellen. Ziel dieser Pilotstudie war deshalb einen neu entwickelten Tele-OSCE in der Mund-, Kiefer- und Gesichtschirurgie mit vorherigen Präsenz-OSCE Prüfungen hinsichtlich Performanz und Zufriedenheit bei Studierenden und Prüfern zu evaluieren.
Methoden: Die Studienteilnehmer waren Zahnmedizinstudierende im vierten Jahr und MKG-ChirurgInnen (Prüfer), die an einer neu entwickelten Tele-OSCE teilnahmen, welche drei fünfminütige Stationen umfasste (1. strukturierte Gesichtsuntersuchung, 2. Management von Unterkieferfrakturen, 3. Management des Plattenepithelkarzinoms). Der Kontakt zwischen Studierendem und Prüfer wurde mit der Zoom®-Software hergestellt. Die studentischen Leistungen wurden anhand validierter OSCE-Checklisten gemessen und mit einer vorangegangenen Präsenz-Kohorte aus dem Wintersemester 2019 verglichen. Die Leistung der Studierenden wurde mittels Mann-Whitney-U-Test auf signifikante Unterschiede getestet. Darüber hinaus wurde das neue Prüfungsformates durch Studierende und Prüfer anhand zuvor entwickelter Fragebögen evaluiert.
Ergebnisse: An der Studie nahmen 66 Studierende der Zahnmedizin (Studiengruppe: n=34, Sommersemester 2021, Kontrollgruppe: n=32 Wintersemester 2019) und neun PrüferInnen teil. Im Vergleich zur Präsenz-Kohorte von 2019 gab es keine signifikanten (p=0,53) Unterschiede in der Gesamtleistung der Studierenden. Die Evaluation zeigte jedoch, dass die Demonstration und Bewertung praktischer Fertigkeiten im Tele-Setting nur eingeschränkt möglich waren. Eine Angst schlechter oder falsch bewertet zu werden bestand auf Studierendenseite nicht. Der Demonstration und Bewertung von anamnestischen und beratenden Kompetenzen wurden von Studierenden und Prüfern als unproblematisch eingeschätzt.
Diskussion: Diese Pilotstudie konnte zeigen, dass eine Tele-OSCE in der zahnmedizinischen Ausbildung als Alternative zu Präsenzprüfungen problemlos implementierbar ist und zu keinen Leistungsunterschieden in Vergleich zu Präsenzprüfungen führt. Allerdings empfanden sowohl Studierende als auch PrüferInnen die Demonstration und Bewertung praktischer Fertigkeiten durch das neue Prüfungsformat als eingeschränkt. Dennoch könnten Tele-OSCEs eine sinnvolle Alternative darstellen und Studierenden die Möglichkeit zu geben, ihre zahnmedizinische Ausbildung in Zeiten von Kontaktrestriktionen fortzusetzen.
Keywords: OSCE; dentoalveolar surgery; oral and maxillofacial Surgery; telemedicine, teledentistry.
Copyright © 2022 Seifert et al.