Aim: The aim of the study was to develop a scoring rubric that provides valuable feedback to students and to gather evidence for its construct validity.
Methodology: The Magdeburg Reflective Writing Feedback and Scoring Rubric (MaReS) was developed in an iterative process following a symposium on reflection by a committee of the "DACH Association for Medical Education (GMA)" in June 2016. 25 essays written by 13 veterinary students were assessed by three independent raters with MaReS and by two raters with the REFLECT rubric in two runs (13 and twelve essays). Validity evidence was gathered referring to the following of Messick's components of construct validity: content (rubric development), response process (rater manual, rater training, rating time, students' evaluation), internal structure (inter-rater reliability, IRR), and relationship to other variables (comparison of the rating with the REFLECT rubric and a global rating scale).
Results: The analytic rubric comprises twelve items that are rated on three-point rating scales. The authors developed an assignment with guiding questions for students and a rater manual. Results for free marginal kappa of the items of MaReS ranged from -0.08 to 0.77 for the first set of reflective essays and from 0.13 to 0.75 for the second set. Correlations between MaReS and the REFLECT rubric were positive (first run: r=0.92 (p<0.001); second run: r=0.29 (p=0.37)).
Conclusion: MaReS might be a useful tool to guide students' reflective writing and provide structured feedback in health professions education. Using more essays for a rater training and more training cycles are likely to result in higher IRRs.
Zielsetzung: Das Ziel der Studie war die Entwicklung eines Bewertungsinstruments, mit dem Studierenden konstruktives Feedback gegeben werden kann sowie Belege für die Konstruktvalidität des Instruments zu sammeln.
Methodik: Die Magdeburger Reflexionsskala (MaReS) wurde in einem iterativen Prozess im Anschluss an einen Workshop zum Thema Reflexion durch eine Arbeitsgruppe eines Ausschusses der „Gesellschaft für Medizinische Ausbildung (GMA)“ im Juni 2016 entwickelt. 25 Berichte von 13 Studierenden der Veterinärmedizin wurden in zwei Durchgängen (13 und zwölf Berichte) von drei unabhängigen Beurteilenden mit MaReS und von zwei Beurteilenden mit dem Instrument REFLECT bewertet. Die Validität wurde anhand der folgenden Komponenten der Konstruktvalidität von Messick ermittelt: Inhalt (Entwickeln des Instruments), Antwortprozess (Kodierleitfaden, Schulung der Beurteilenden, Bewertungsdauer, Evaluation durch Studierende), interne Struktur (Inter-Rater-Reliabilität, IRR) und Beziehung zu anderen Variablen (Vergleich der Bewertung mit Instrument REFLECT und einer globalen Bewertungsskala).
Ergebnisse: Das analytische Instrument umfasst zwölf Items, die auf einer dreistufigen Skala bewertet werden. Die Autor:innen entwickelten eine Aufgabenstellung mit Leitfragen für die Studierenden sowie einen Kodierleitfaden. Die Ergebnisse für das freie marginale Kappa der Items von MaReS reichten von -0,08 bis 0,77 für die erste Gruppe von Reflexionsberichten und von 0,13 bis 0,75 für die zweite Gruppe. Die Korrelationen zwischen MaReS und REFLECT waren positiv (erster Durchlauf: r=0,92 (p<0,001); zweiter Durchlauf: r=0,29 (p=0,37)).
Schlussfolgerung: MaReS kann ein nützliches Instrument sein, um das reflektierende Schreiben von Studierenden in der Ausbildung von Gesundheitsberufen sowohl anzuleiten als auch strukturiertes Feedback zu geben. Die Verwendung von weiteren Berichten zur Schulung der Beurteilenden und mehr Trainingszyklen würden vermutlich zu höheren IRR führen.
Keywords: analytic scoring rubric; feedback; reflection; reflective writing; validity.
Copyright © 2025 Ramspott et al.