Background: The European Board Examination in Otorhinolaryngology, Head and Neck Surgery (EBEORL-HNS) is a Europe-wide specialty examination consisting of a written multiple-choice test and a standardized oral examination. Only limited psychometric analyses have been published to date.
Objective: This study aimed to evaluate examination data from recent years and assess the formats regarding difficulty, reliability, and pass rates.
Materials and methods: Aggregated data from 2013-2024 were analyzed. Mean scores, standard deviations, item difficulty, item discrimination, Cronbach's alpha, and Angoff's score were calculated. The written and oral parts were examined descriptively and comparatively.
Results: The written examination demonstrated a mean difficulty of 67% (proportion of correctly answered items), a pass rate of 82%, and Cronbach's alpha of 0.83 (internal consistency). The passing cutoff (according to the Angoff method) was 59 points on average. The oral part showed a mean difficulty of 70%, a pass rate of 74%, and an average score of around 3.0 on a four-point scale. Year-to-year variability largely reflected differences in the international candidate cohorts.
Conclusion: The findings confirm that the EBEORL-HNS demonstrates stable psychometric quality. Compared to national specialty examinations, it offers high transparency and clearly defined quality criteria. Variations in performance appear more related to heterogeneous training backgrounds than to shortcomings of the assessment tools.
Zusammenfassung: HINTERGRUND: Die European Board Examination in Otorhinolaryngology – Head and Neck Surgery (EBEORL-HNS) stellt eine europaweit durchgeführte Facharztprüfung dar. Sie umfasst einen schriftlichen Multiple-Choice-Test und eine standardisierte mündliche Prüfung. Bisher liegen nur wenige Analysen zur psychometrischen Qualität dieser Prüfung vor.
Ziel der arbeit: Ziel war es, die Prüfungsdaten der letzten Jahre auszuwerten und die Prüfungsformate im Hinblick auf Schwierigkeit, Reliabilität und Bestehensquoten zu bewerten.
Material und methoden: Analysiert wurden aggregierte Jahreswerte (2013–2024) für Schwierigkeit, Trennschärfe, Cronbach‑α und Angoff-Grenzen, auch Mittelwert und Standardabweichung wurden berechnet. Schriftlicher und mündlicher Teil wurden getrennt und vergleichend ausgewertet.
Ergebnisse: Die schriftliche Prüfung wies eine mittlere Schwierigkeit (Anteil korrekt beantworteter Items) von 67 % auf, das Cronbach‑α lag bei 0,83 (interne Konsistenz), und die Bestehensquote betrug im Mittel 82 %. Die Bestehensgrenze (per Angoff-Verfahren) lag im Mittel bei 59 Punkten. Die mündliche Prüfung zeigte eine mittlere Schwierigkeit von 70 %, eine Bestehensquote von 74 % und Mittelwerte von rund 3,0 Punkten auf einer vierstufigen Skala. Unterschiede zwischen den Jahren spiegelten v. a. die Zusammensetzung der internationalen Kandidatenkohorten wider.
Schlussfolgerung: Die Daten zeigen, dass die EBEORL-HNS stabile Qualitätsmerkmale aufweist und im Vergleich zu nationalen Facharztprüfungen durch hohe Transparenz und definierte Qualitätskriterien hervorsticht. Unterschiede in den Bestehensquoten sind weniger Ausdruck von Defiziten des Prüfungsinstruments als Folge der heterogenen Zusammensetzung der Kandidatengruppen.
Keywords: Board exam; EBEORL-HNS; Otorhinolaryngology head and neck surgery; SMP; Specialty exam.
© 2025. The Author(s).