Prädiktoren studentischer Lehrveranstaltungsevaluationen

Abstract

Zusammenfassung. Trotz des breiten Einsatzes von Bewertungen von Lehrveranstaltungen durch Studierende wird die Validität dieser Urteile immer wieder in Frage gestellt. Insbesondere wird befürchtet, dass die Urteile dadurch verzerrt sind, dass sie durch Variablen beeinflusst werden, die nicht mit der Qualität der Lehrveranstaltung zusammenhängen. Auf der Basis eines Datensatzes mit studentischen Bewertungen von 2 898 Lehrveranstaltungen wurde der Einfluss von 10 potentiellen Biasvariablen mittels Mehrebenenanalysen untersucht. Die Variablen sind dabei auf der Ebene der Studierenden (Geschlecht, Vorab-Interesse, Rahmenbedingungen, Fehlzeiten), der Veranstaltungen (Veranstaltungsgröße, Schwund, Pflichtcharakter) und der Lehrenden (Geschlecht, Status, Lehrerfahrung) lokalisiert. Fast alle der Einflussgrößen auf den ersten beiden Ebenen sowie eine Cross-Level Interaktion der Geschlechtsvariablen sind statistisch signifikante Prädiktoren der Studierendenurteile. Mit Ausnahme des Vorab-Interesses und der Rahmenbedingungen sind diese Beziehungen aber nur schwach. Zudem ist meist schwierig zu entscheiden, ob es sich bei den Einflüssen tatsächlich um verzerrende Faktoren handelt.

How reliable are students’ evaluations of teaching quality? A variance components approach

“…The study was based on a standardised questionnaire that is widely used in Germany for the evaluation of university courses (FEVOR/FESEM, Staufenbiel 2000;Staufenbiel, Seppelfricke, and Rickers 2016).…”

“…The present study was based on a psychometrically sound questionnaire that is used in German-speaking countries for student evaluations of teaching in higher education (Staufenbiel 2000;Staufenbiel, Seppelfricke, and Rickers 2016). The questionnaire assesses four different aspects of teaching quality (planning and presentation, interaction with students, interestingness and relevance, difficulty and complexity), and contains two global ratings of the quality of the entire course and the teacher.…”

“…Moreover, we ran separate analyses for lectures and seminars because of the didactical and organisational differences of the two course formats (cf. Staufenbiel, Seppelfricke, and Rickers 2016). Our aim was to provide an in-depth analysis of the inter-rater reliability of the different scales and the global ratings included in the questionnaire by Staufenbiel (2000), and to compare the variance components that contribute to a high reliability (teachers and courses) with variance components that are due to students and the interaction of students and teachers.…”

“…Several authors (Spooren 2010;Rantanen 2013;Staufenbiel, Seppelfricke, and Rickers 2016) have already adopted the approach of estimating hierarchical or cross-classified multilevel analyses. Despite methodological differences (such as different questionnaires used), these studies yielded estimates of variance components for students, courses and teachers of similar magnitude.…”

“…All the previous studies focused on only one dependent variable. Staufenbiel, Seppelfricke, and Rickers (2016) used an average score of three scales capturing three different facets of teaching effectiveness (planning and presentation, interaction with students, and interestingness and relevance). Rantanen (2013) used a mean score based on five items (teacher's expertise in the subject, teaching skills, visual aids, interaction with the students and learning assignments).…”