First steps of learning analytics in a blended learning general practice curriculum at Saarland University - a quantitative approach

GMS J Med Educ. 2023 Nov 15;40(6):Doc71. doi: 10.3205/zma001653. eCollection 2023.

Abstract

Objectives: Medical education has been revolutionized by the growing importance of digital learning. Little is known about students' online study behaviour and its relationship with exam performance. This quantitative study analyses and describes students' digital learning behaviours in a blended learning curriculum for General practice at Saarland University, Germany. It also examines the relationship between digital learning behaviour and exam performance.

Methods: Cohort and individualized AMBOSS® user data from 195 students at Saarland University was analysed quantitatively. Performance in course-specific multiple-choice question sessions and user data of the integrated online learning activities were correlated with each other and with General practice exam grades. Anonymized data from 10,534 students from 35 other German universities served as the reference cohort. Differences in digital learning behaviour between the groups were calculated using Mann-Whitney-U-Test for non-normally distributed data.

Results: Students in the blended learning course used integrated content more frequently than the reference cohort (U=48777, p<0.001). The number of digital learning cards read correlated moderately with digital formative assessment performance (ρ=0.331, p=0.005 and ρ=0.217, p=0.034). Formative assessment scores and exam results correlated strongly in the summer semester cohort (ρ=0.505, p<0.001), and moderately in the winter semester cohort (ρ=0.381, p<0.001).

Conclusion: There is a difference in the usage of online learning activities when they are purposefully integrated into a curriculum. Digital learning activities including formative assessment may serve as valuable, constructively aligned exam preparation. This is relevant for medical educators when planning future blended learning curricula and portfolio systems, as it may save financial and human resources.

Hintergrund: Die medizinische Ausbildung wurde durch die wachsende Bedeutung des digitalen Lernens revolutioniert. Über das Online-Lernverhalten der Studierenden und dessen Zusammenhang mit den Studienleistungen ist wenig bekannt. Diese quantitative Studie analysiert und beschreibt das digitale Lernverhalten der Studierenden in einem Blended-Learning-Curriculum für Allgemeinmedizin an der Universität des Saarlandes, Deutschland. Daneben wird der Zusammenhang zwischen digitalem Lernverhalten und Prüfungsleistungen untersucht.

Methoden: Kohorten- und individualisierte AMBOSS® Nutzerdaten von 195 Studierenden der Universität des Saarlandes wurden quantitativ ausgewertet. Die Leistungen in den kursspezifischen Multiple-Choice-Fragesitzungen und die Nutzerdaten der integrierten Online-Lernaktivitäten wurden miteinander und mit den Noten der Klausur im Fach Allgemeinmedizin korreliert. Als Referenzkohorte dienten anonymisierte Daten von 10.534 Studierenden von 35 anderen deutschen Universitäten. Unterschiede im digitalen Lernverhalten zwischen den Gruppen wurden mit dem Mann-Whitney-U-Test für nicht-normalverteilte Daten berechnet.

Ergebnisse: Die Studierenden des Blended-Learning-Kurses nutzten integrierte Inhalte häufiger als die Referenzkohorte (U=48777, p<0,001). Die Anzahl der gelesenen digitalen Lernkarten korrelierte moderat mit der Leistung im formativen Assessment (ρ=0,331, p=0,005 und ρ=0,217, p=0,034). Die Ergebnisse des formativen Assessments und die Prüfungsergebnisse korrelierten in der Kohorte des Sommersemesters stark (ρ=0,505, p<0,001) und in der Kohorte des Wintersemesters moderat (ρ=0,381, p<0,001).

Schlussfolgerungen: Es gibt einen Unterschied in der Nutzung von Online-Lernaktivitäten, wenn diese gezielt in einen Lehrplan integriert werden. Digitale Lernaktivitäten, die formatives Assessment enthalten, können als wertvolle, konstruktiv ausgerichtete Prüfungsvorbereitung dienen. Dies ist für Lehrende in der Allgemeinmedizin bei der Planung künftiger Blended-Learning-Lehrpläne und Portfoliosysteme von Bedeutung, da so finanzielle und personelle Ressourcen eingespart werden können.

Keywords: blended learning; digital learning behaviour; formative assessment; undergraduate medical education.

MeSH terms

  • Curriculum
  • Educational Measurement
  • General Practice*
  • Humans
  • Students, Medical*
  • Universities