Assessing the Effects of a Reformed System of Student Evaluation of Teaching

Abstract

The importance of student evaluation of teaching (SET) in higher education has increased substantially in the past decades. Despite this increase, there is no consensus on the most efficient way of executing these surveys or about the questions. This study analyses the impact of an SET system reform on the distribution of the responses and the response rate. The reform impacted the questions, the scale used for evaluation, the anchor labels of the scale elements, and the incentives for students to fill out the survey. Our results show that the number of extreme responses increased after the reform, which can be due to the elimination of anchor labels of the middle scale points. Insufficient effort bias also increased; however, the new motivation system doubled the response rate, which helped to collect more representative sets of evaluations. Taking into consideration the relatively small increase in insufficient responses, we believe this incentive can be a valid choice for SET surveys.

Az érdemjegy torzító hatása a hallgatói véleményezési rendszerekben. Egy természetes kísérlet eredményei

“…Másrészt viszont az oktatók a kedvezőbb értékeléseket engedékenyebb osztályozással is elérhetik, lényegében jobb érdemjegyekkel jobb értékeléseket "vásárolhatnak" maguknak. Ez egy igen kedvezőtlen folyamat, és az elmúlt évtizedekben több kutató is (például Yunker-Yunker [2003], Isely-Singh [2005], Nowell [2007], Love-Kotchen [2010], Jewell és szerzőtársai [2013], Wang-Williamson [2022]) tapasztalt jegyinflációt, vagyis az egyetemi érdemjegyek és átlagok folyamatos növekedését a hallgatói véleményezési rendszerek terjedésével, fontosságának növekedésével hozta összefüggésbe.…”

“…Az mindenesetre problematikus és aggasztó, hogy a hatás éppen ott jelentkezik, ahol -a gyengébb érdemjegyek következtében -van is lehetőség az érdemjegyek valós tudás és képességek nélküli növelésére, tehát jegyinflációra. Az eredmények tehát konzisztensek azokkal a szakirodalmi megállapításokkal (Yunker-Yunker [2003], Isely-Singh [2005], Nowell [2007], Love-Kotchen [2010], Jewell és szerzőtársai [2013], Wang-Williamson [2022]), hogy a hallgatói véleményezési rendszerek elterjedése és jelentősebbé válása az egyik oka a jegyinflációnak.…”