Comparison of the evaluation of formative assessment at two medical faculties with different conditions of undergraduate training, assessment and feedback

Schüttpelz-Brauns, Katrin; Karay, Yassin; Arias, Johann; Gehlhar, Kirsten; Zupanic, Michaela

doi:10.3205/zma001334

Cited by 9 publications

(3 citation statements)

References 34 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…When applied jointly by different institutions, it is observed that participation in PT is related to the way in which the institution is involved in the test, and student participation is higher in institutions that are more actively involved, recognize assessment as an important part of the curriculum and visualize the possibilities of following the teaching-learning process. In these institutions, students are more encouraged to understand the principle of the test and use the results as feedback on their knowledge progress; consequently, they feel more motivated to participate and report less fear about taking the test ( 23 ) .…”

Section: Discussionmentioning

confidence: 99%

Implementation of the São Paulo Nursing Courses Consortium for the Progress Test: experience report

Dias,

Silva,

Salvetti

et al. 2024

Rev. esc. enferm. USP

View full text Add to dashboard Cite

Objective: To report the experience of implementing the São Paulo Nursing Courses Consortium for the Progress Test. Method: This is an experience report of the consortium’s work in Progress Test preparation and application for Public Schools of Nursing in São Paulo in 2019, 2021 and 2022, with a descriptive analysis of the work process and the results obtained. Results: The consortium’s activities are structured into the following stages: planning; theme review; distributing and requesting questions; professor training; question elaboration; question reception; question selection; question validation; student registration; test application; analysis and dissemination of results. A total of 57.3% of enrolled students participated. There was a predominance of questions of medium difficulty and a gradual progression in the level of discrimination of the questions, with, in 2022, 82.5% being considered adequate. Final considerations: The consortium has allowed the test to be applied interinstitutionally, with greater scope, accuracy, and quality of questions. Through this experience, it is expected to encourage progress testing in undergraduate nursing courses in other contexts.

show abstract

Section: Discussionmentioning

confidence: 99%

Implementation of the São Paulo Nursing Courses Consortium for the Progress Test: experience report

Dias,

Silva,

Salvetti

et al. 2024

Rev. esc. enferm. USP

View full text Add to dashboard Cite

show abstract

“…Meaningful and comprehensive feedback is an essential prerequisite and a major motivational factor in progress testing that positively affects students' learning behavior (3,5,44). It is also the major reason for students to engage in progress testing if tests are implemented as voluntary and pure formative tests.…”

Section: Student Participation and Feedback To And From Studentsmentioning

confidence: 99%

Development of a shared item repository for progress testing in veterinary education

Schaper,

van Haeften,

Wandall

et al. 2023

Front. Vet. Sci.

View full text Add to dashboard Cite

IntroductionProgress testing in education is an assessment principle for the measurement of students’ progress over time, e.g., from start to graduation. Progress testing offers valid longitudinal formative measurement of the growth in the cognitive skills of the individual students within the subjects of the test as well as a tool for educators to monitor potential educational gaps and mismatches within the curriculum in relation to the basic veterinary learning outcomes.MethodsSix veterinary educational establishments in Denmark, Finland, Germany (Hannover), the Netherlands, Norway, and Sweden established in cooperation with the European Association of Establishments for Veterinary Education (EAEVE) a common veterinary item repository that can be used for progress testing in European Veterinary Education Establishments (VEEs), linear as well as computer adaptive, covering the EAEVE veterinary subjects and theoretical “Day One Competencies.” First, a blueprint was created, suitable item formats were identified, and a quality assurance process for reviewing and approving items was established. The items were trialed to create a database of validated and calibrated items, and the responses were subsequently psychometrically analyzed according to Modern Test Theory.ResultsIn total, 1,836 items were submitted of which 1,342 were approved by the reviewers for trial testing. 1,119 students from all study years and all partners VEEs participated in one or more of six item trials, and 1,948 responses were collected. Responses were analyzed using Rasch Modeling (analysis of item-fit, differential item function, item-response characteristics). A total of 821 calibrated items of various difficulty levels matching the veterinary students’ abilities and covering the veterinary knowledge domains have been banked.DiscussionThe item bank is now ready to be used for formative progress testing in European veterinary education. This paper presents and discusses possible pitfalls, problems, and solutions when establishing an international veterinary progress test.

show abstract

“…Wenn sich ein Student auf einen Kurs oder Parcours gut vorbereitet hat, erwartet dieser auch, dass es eine spürbare Verbesserung gibt 63. Ein weiteres Problem sind die sogenannten "Musterkreuzer", also Studenten, die den Fragebogen schlichtweg nach einem zufälligen Muster ausfüllen 64,65. Derartige Muster wurden jedoch erkannt und bei obigen Auswertungen nicht miteinbezogen.Musterkreuzer, wenn zufällig identifiziert, berichten im Gespräch, dass sie z.B.…”

unclassified

Patient Blood Management in der praktischen Lehre

Costa Gonçalves

View full text Add to dashboard Cite

Einleitung: Im Jahr 2016 wurde eine neue, individuelle Lehrform, das „Lernzentrum für ein individualisiertes medizinisches Tätigkeitstraining und Entwicklung“ („Limette“), an der Westfälischen Wilhelms-Universität Münster entwickelt. Das Ziel dieser Lernform ist und war es, nicht nur die theoretische Lehre, sondern vor allem die praktische Lehre und praktische Szenarien in einem geschütztem Lernumfeld in der medizinischen Lehrdidaktik in den Vordergrund zu stellen. Die Studierenden nehmen an verschiedenen Fächern der Limette teil. In dieser Promotionsarbeit liegt der Fokus auf der Limette Patient Blood Management (PBM) und Transfusionsmedizin. Vor Kursbeginn wird den Studierenden Zugang zu verschiedenen Vorbereitungsvideos sowie weiteren theoretischen Materialien über PBM und Transfusionsmedizin zur Verfügung gestellt. Bei der Limette durchläuft jeder Studierende sechs verschiedene Stationen. Hierbei beobachten Dozenten die Fertigkeiten und die Umsetzung der Aufgabenlösung durch halbverspiegelte Scheiben, im Umgang mit echten Blutprodukten oder die Kommunikation mit Patienten, die von Schauspielern dargestellt werden. Die Beobachtungen werden den Dozenten des Seminars, welches im Anschluss zur Nachbesprechung stattfindet, mitgeteilt. Hier teilen die Studierenden untereinander ihr Wissen, können den Dozenten Fragen stellen und werden ihnen weitere theoretisch-praktische Kenntnisse vermittelt. Ziel der Arbeit: Die Promotionsarbeit hat die Auswertung der Selbsteinschätzungsbögen vor und nach der Limette mit anschließender Interpretation der Ergebnisse zum Ziel. Es soll eruiert werden, ob diese neue Lehrmethodik effektiv in der Umsetzung des Lehrerfolgs ist. Methodik: Die Selbsteinschätzungsbögen hinsichtlich medizinischer Fertigkeiten und Tätigkeiten werden vor und nach der Limette von den Studierenden ausgefüllt. Die Aufgabenstellungen fokussieren sich jeweils auf medizinische Tätigkeiten, bei denen aus 13 verschiedenen Entrustable Professional Activities (EPAs) diejenigen hinterlegt werden, die bei dieser Aufgabe gelehrt werden. Die Differenz von post- zu prä- Selbsteinschätzung zeigt den Lehrerfolg. Die EPAs werden alle analysiert und mit Hilfe der sogenannten Cohen-Zahl interpretiert. Die Cohen Zahl ist definiert als die Differenz zwischen den Mittelwerten zweier Gruppen dividiert durch die gemeinsame Standardabweichung der beiden Populationen. Nach dem Autor Hattie wurde die Skalierung von Cohen für die Lehre angepasst und dabei folgende Einteilung definiert: d = 0,2 (klein), d = 0,4 (mittel) und d = 0,6 (groß). Alle Methoden mit d > 0,4 wurden als „Zone der gewünschten Effekte“ eingestuft. Ergebnisse: Im Wintersemester 2021/2022 nahmen n=122 Studierende teil, von welchen n=50 beide Fragebögen komplettierten. Eine signifikante Zahl der dargestellten EPAs (50%) hat gute Ergebnisse erzielt, weist mithin einen Cohen´s Wert von d > 0,40 auf. Im Sommersemester 2022 nahmen n=99 Studierende teil, wobei nur n=29 beide Selbsterhebungsbögen komplettierten. Aufgrund des niedrigen Rücklaufs war die Zahl der ausgefüllten Selbsteinschätzungsbögen deutlich geringer und zugleich die Ergebnisse geringer ausgeprägt. In jenem Semester weist die Mehrheit der Ergebnisse einen Cohen´s d-Wert zwischen 0,15 und 0,4 auf, was als durchschnittlicher Lehrerfolg beurteilt wird. Schlussfolgerung: Die Lehrform der Limette ist eine neue Form der praktischen Lehrvermittlung, die kontinuierlichen Anpassungen unterliegt. Eine hohe Zahl an ausgefüllten Selbsteinschätzungsbögen ist erstrebenswert, um den Lehrerfolg positiv und statistisch signifikant interpretieren zu können. Hierbei ist es nötig, die Lehre in der Limette auszuwerten und gegebenenfalls weitere Anpassungen durchzuführen. Die Limette ist eine neue Lehrmethode mit einem guten Lehrerfolg hinsichtlich der Vermittlung praktischer Fähigkeiten und sozialer Kompetenz, welche auch an anderen Institutionen angewandt und umgesetzt werden könnte.

show abstract

Comparison of the evaluation of formative assessment at two medical faculties with different conditions of undergraduate training, assessment and feedback

Cited by 9 publications

References 34 publications

Implementation of the São Paulo Nursing Courses Consortium for the Progress Test: experience report

Implementation of the São Paulo Nursing Courses Consortium for the Progress Test: experience report

Development of a shared item repository for progress testing in veterinary education

Patient Blood Management in der praktischen Lehre

Contact Info

Product

Resources

About