Introduction: An essential aim of courses in evidence-based medicine (EBM) is to improve the skills for reading and interpreting medical literature adequately. Regarding the conceptual framework, it is important to consider different educational levels. Aim: Our primary aim was to investigate the applicability of different instruments for the assessment of methodological study quality by 3rd grade students after short courses in EBM. Our secondary outcomes were agreement with expert assessments and student's knowledge and competences. Methods: We conducted four short courses in EBM of 90 minutes each for health care management and medical students focused on critical appraisal of the literature. At the end, the students assessed five publications about randomized controlled trials (RCTs) using five different instruments; the results were compared to expert assessments. Results: In total, 167 students participated in our EBM courses. Students' assessments showed a non-systematic over- and underestimation of risk of bias compared to expert assessments with no clear direction. Agreement with expert assessments ranged between 66% to over 80%. Across RCTs, evidence was found that the choice of instrument had an impact on agreement rates between expert and student assessments (p=0.0158). Three RCTs showed an influence of the instrument on the agreement rate (p<0.05 each). Discussion: Our results contrast sharply with those of many other comparable evaluations. Reasons may be a lack of students' motivation due to the compulsory courses, and the comparison to a reference standard in addition to self-ratings causing objectivity. Conclusion: Undergraduates should become familiar with the principles of EBM, including research methods, and the reading of scientific papers as soon as possible. For a deeper understanding, clinical experience seems to be an indispensable precondition. Based on our results, we would recommend an integration of lectures about EBM and critical appraisal at least twice during studies and with greater intensity shortly before graduation.
Einleitung: Ein wesentliches Ziel von Kursen in evidenzbasierter Medizin (EBM) ist die Verbesserung von Fähigkeiten für adäquates Lesen und Interpretieren medizinischer Fachliteratur. Hinsichtlich der Konzeption ist es wichtig, unterschiedliche Ausbildungsgrade zu berücksichtigen.Ziel: Primäres Ziel war die Untersuchung der Anwendbarkeit verschiedener Instrumente zur Bewertung der methodischen Qualität von publizierten Studien durch Studenten im dritten Studienjahr nach einem Kurzlehrgang in EBM. Sekundäre Ziele waren Übereinstimmung mit Experten-Bewertungen sowie Kenntnisse und Kompetenzen der Studenten.Methoden: Vier Veranstaltungen zur EBM von jeweils 90 Minuten wurden für Medizinmanagement- und Medizinstudenten mit dem Fokus auf die kritische Bewertung von Literatur in Hinblick auf ein Bias-Risiko durchgeführt. Am Ende bewerteten die Studenten fünf Publikationen über randomisierte klinische Studien (RCTs) mit fünf verschiedenen Instrumenten; die Ergebnisse wurden mit Bewertungen von Experten verglichen.Ergebnisse: Insgesamt nahmen 167 Studenten an den EBM-Kursen teil. Im Vergleich zu den Experten-Bewertungen zeigten die Bewertungen der Studenten eine nicht systematische Über- und Unterschätzung des Bias-Risikos ohne erkennbare Richtung. Die Übereinstimmung mit den Experten-Bewertungen reichte von 66% bis über 80%. Für die RCTs zeigte sich, dass die Auswahl des Instruments einen Einfluss auf die Übereinstimmungsrate zwischen studentischen und Experten-Bewertungen hatte (p=0,0158). Bei drei RCTs konnte ein Einfluss des Instruments auf die Übereinstimmungsrate festgestellt werden (jeweils p<0,05).Diskussion: Die Ergebnisse stehen in starkem Widerspruch zu denen vieler anderer, vergleichbarer Erhebungen. Gründe können in der mangelnden Motivation der Studenten für die Pflichtveranstaltung liegen. Es ist aber auch möglich, dass der Vergleich mit einem Referenzstandard als Ergänzung zu Selbstauskünften zu Objektivität führte.Schlussfolgerung: Nicht graduierte Studenten sollten mit den Prinzipien der EBM so früh wie möglich vertraut gemacht werden, ebenso mit Forschungsmethoden und der Lektüre von wissenschaftlichen Publikationen. Für ein tieferes Verständnis scheint klinische Erfahrung eine unverzichtbare Voraussetzung zu sein. Auf der Basis unserer Ergebnisse empfehlen wir, Veranstaltungen zur EBM und kritischen Bewertung mindestens zweimal im Studienverlauf und mit größerer Intensität kurz vor dem Abschluss durchzuführen.
Keywords: Critical appraisal; evidence-based medicine; randomized controlled trial; training; undergraduates.