Beneficios de la distribución de cuestionarios web de valoración docente a través de mensajería SMS en el ámbito universitario: tasas de participación, inversión de tiempo al completar el cuestionario y plazos de recogida de datos

Abstract

El empleo de cuestionarios web en los procesos de valoración docente presenta importantes ventajas, entre las que destacan la reducción de costes de gestión, la flexibilidad para abordar la evaluación en remoto o la sencilla personalización del formulario para adaptarlo a las necesidades de diferentes materias. No obstante, aunque el uso de cuestionarios web presenta beneficios sustanciales, estos no están exentos de inconvenientes.
 El presente trabajo analiza los resultados obtenidos con la administración de cuestionarios web a través de dos sistemas diferentes en una muestra de estudiantes universitarios. Por un lado, se emplea un sistema de administración de cuestionarios mediante servicios de mensajería SMS y, por otro, se administran los cuestionarios a través del Portal de Servicios del alumno.
 La administración de cuestionarios web, a través de servicios de mensajería SMS, permite salvar algunos de los escollos planteados por los sistemas de administración convencionales, posibilitando mejoras en tres planos: a) tasas de participación, b) inversión de tiempo al completar el cuestionario, c) plazos de recogida de datos. El sistema de administración descrito incrementa las tasas de participación; contribuye a recabar valoraciones más ajustadas al desempeño real del docente gracias al aumento de la inversión en tiempo realizada por el alumno; y posibilita una rápida implementación del fin formativo de la evaluación gracias a una notable reducción en los plazos de recogida de datos.
 Asimismo, los resultados subrayan la buena predisposición del estudiante universitario a la hora de abordar las valoraciones del profesorado mediante dispositivos móviles o Smartphones.

Quality Control Systems in Higher Education Supported by the Use of Mobile Messaging Services

“…Even though the focus of the present research is not the lack of anonymity perceived during the survey but the improvement in the response rates, the authors, in line with previous studies [29,40,54,55], state that one of the reasons that could lead to this improvement in participation is the sense of privacy presumably experienced by the student in the mobile messaging-supported delivery system.…”

“…In group A, the quality control survey was delivered proactively through a mobile messaging service via SMS. In line with previous studies [40], the researchers opted for the SMS format and not for messaging services supported by data traffic such as WhatsApp (XMPP (Extensible Messaging and Presence Protocol)) or Telegram (MTProto (Mobile Transport Protocol)), which, although cheaper, offer lower guarantees for research purposes.…”

“…The low response rates of students have become one of the great threats to current quality control systems. The first consequence of these low participation rates is the overemphasis of several of the inconsistencies inherent in this quality control system [40]. The reduced response rates can increase the leniency error and the halo effect and even increase the influence of biasing variables in the evaluation.…”

“…The reduced response rates can increase the leniency error and the halo effect and even increase the influence of biasing variables in the evaluation. Likewise, when participation rates are excessively low, the information collected is not very representative; this compromises the significance of the results, affects the psychometric measurement and, consequently, makes it difficult to infer real conclusions about the quality of the work of the teacher [40].…”

“…Therefore, the statement made by the authors regarding the influence of the perceived anonymity on the response rates should be considered only as an impression to be taken with caution. Although this issue has been explored more intensely by the studies previously referenced [29,40,54,55], further research is still needed to expand our understanding of this influence in the field of quality control systems in the university context.…”