Creating confusion or creative evaluation? The use of student evaluation of teaching surveys in Japanese tertiary education

Abstract

A new reform movement in Japanese tertiary education has emerged which is more economy centered, more market sensitive, and more influenced by a government shift towards decentralization. With the dramatic decline in the 18 year old population, a buyer's market has led to the introduction of student evaluation of teaching surveys (SETs) partly as a measure student satisfaction. This is not without debate, and this study seeks to understand the perceptions of 22 local and expatriate English language teachers who participated in interviews. They suggest that using SETs as the sole criterion for evaluating teachers is flawed, unsystematic, and does not lead to improvement. Participants suggest the need for a model of "creative evaluation" over the present "creation of confusion." Teachers are unaware of the purpose of the evaluation which is not explained and often are just expected to administer without any consultation or input into the questions. Evaluation should draw distinction between prescriptive, acontextual summative evaluation and collaborative approaches that show the richness and diversity while giving learners as well as faculty more voice.In this study, data collected from interviews with tertiary-sector English language teaching (ELT) instructors working in different institutions in Western Japan suggest that using Student Evaluation of Teaching surveys (SETs) as the sole criterion for evaluating teachers is flawed. Instructors suggest that summative evaluations by students, being simple to collect and analyze, can be the sole criterion for adjunct ELT teacher retention, or as a punitive measure to remove tenure in tertiary establishments with diminishing student roll. But as the importance attached to student feedback increases, ensuring that feedback is collected effectively should be an important priority but there has been an "extraordinary reluctance to clarify,

Percepções docentes sobre avaliação da qualidade do ensino na Educação Superior

“…O primeiro relaciona-se com as fragilidades identificadas no procedimento de recolha do feedback dos estudantes, como insegurança dos estudantes quanto ao anonimato, a baixa quantidade de respostas, ambas associadas ao formato on-line, o exercício repetitivo e cansativo, e o perfil dos alunos que respondem, barreiras também já referidas em outros estudos (BURDEN, 2010;IQBAL et al, 2016;WONG;MONI, 2014). Tais fragilidades levam a resultados menos positivos que, entretanto, são pouco consideradas aquando da análise institucional dos resultados.…”

“…Aspecto interessante é que, por um lado, existe ampla associação entre os dois processos de avaliação, aquele voltado para a melhoria do ensino e o voltado para o desempenho da carreira docente. Por outro lado, a generalidade dos participantes deste estudo indica que é atribuído pouco peso ou valor aos resultados do feedback, reiterando a desvalorização da dimensão do ensino no conjunto das atividades desenvolvidas por um professor universitário e contribuindo para aumentar a percepção de controle (ANDERSON, 2006;CHAN et al, 2014;CARDOSO;TAVARES;SIN, 2015).…”

“…A motivação para promover mudanças depende mais fortemente de fatores intrínsecos, individuais, ou em poucos casos emergem a partir do diálogo informal entre professores. Os professores deste estudo indicaram que não discutem as suas avaliações com os colegas e que não há espaço formal para tal análise e reflexão, o que desde logo pode significar o reduzido valor da informação assim recolhida e, ainda de acordo com alguns estudos, a visão bastante presente no corpo docente de que o ensino é uma atividade privada, e de que os resultados da AQE são confidenciais (CARDOSO et al, 2015;IQBAL et al, 2016;OTANI et al, 2012). Indicam também a necessidade de estratégias de apoio ao professor, por exemplo: o suporte pedagógico para compreender eventuais resultados insatisfatórios e para planejar e colocar em prática mudanças consideradas pertinentes, a atenção ao impacto emocional que o feedback tem sobre os docentes, e o investimento em ações formativas e de promoção do desenvolvimento profissional docente (GRIFFIN; COOK, 2009).…”

“…A título de exemplo, os estudantes universitários valorizam e apoiam este sistema de avaliação, todavia, questionam a efetiva utilização dos resultados (ASASSFEH et al, 2014;BISINOTO;ALMEIDA, 2016;IQBAL et al, 2016;KITE;SUBEDI;BRYANT-LEES, 2015;OTANI;KIM;CHO, 2012). O corpo docente, por seu turno, também considera importante, mas mostra-se ambivalente acerca do real valor da avaliação do ensino pelos estudantes (ANDERSON, 2006;BERAN;ROKOSH, 2009;BURDEN, 2010;CHAN;LUK;ZENG, 2014;NASSER;FRESKO, 2002;SOJKA;GUPTA;DEETER-SCHMELZ, 2002;WONG;MONI, 2014).…”

An Empirical Study on Student Evaluations of Teaching Based on Data Mining

“…They also believed that SET might influence future teaching practice when they perceived that the results would be used by the teachers (Spooren & Christiaens, 2017). Burden (2008Burden ( , 2010interviewed several award-winning teachers in higher education, and observed that they all attached great importance to SET, but only a few teachers considered that educational evaluation was helpful for them to improve their teaching quality. (c) Combining algorithms with SET: in the literature, (Vasconcelos, 2012) puts forward the key rule mining method based on data mining technology to find the meaningful association between data, and gives the framework of teaching evaluation data mining system.…”