Design and development of sign language questionnaires based on video and web interfaces

Abstract

Conventional tests with written information used for the evaluation of sign language (SL) comprehension introduce distortions due to the translation process. This fact affects the results and conclusions drawn and, for that reason, it is necessary to design and implement the same language interpreter-independent evaluation tools. Novel web technologies facilitate the design of web interfaces that support online, multiple-choice questionnaires, while exploiting the storage of tracking data as a source of information about user interaction. This paper proposes an online, multiple-choice sign language questionnaire based on an intuitive methodology. It helps users to complete tests and automatically generates accurate, statistical results using the information and data obtained in the process. The proposed system presents SL videos and enables user interaction, fulfilling the requirements that SL interpretation is not able to cover. The questionnaire feeds a remote database with the user answers and powers the automatic creation of data for analytics. Several metrics, including time elapsed, are used to assess the usability of the SL questionnaire, defining the goals of the predictive models. These predictions are based on machine learning models, with the demographic data of the user as features for estimating the usability of the system. This questionnaire reduces costs and time in terms of interpreter dedication, as well as widening the amount of data collected while employing user native language. The validity of this tool was demonstrated in two different use cases.

Design of Teaching Video Resource Management System in Colleges and Universities based on Microtechnology

“…(2) Image enhancement based on multi-scale Rrtinex algorithm e sensitivity of human vision system (HVS) to color is usually lower than that to brightness. In view of the good effect of MSR algorithm for gray image enhancement, this paper uses MSR algorithm to enhance the brightness component Y [15,16]. Compared with the traditional MSR enhancement of R, G and B components in RGB space, the proposed method can save nearly 2/3 of the workload.…”

Despliegue de nuevos servicios multimedia para personas con discapacidad en la televisión digital

“…Uno de los resultados de esta tesis en el marco del proyecto HBB4ALL fue la especificación de cuestionarios en lengua de signos para su utilización en estudios con usuarios. La principal referencia es [110]. En HBB4ALL se dio mucha importancia a las pruebas con usuarios, al tratarse de un proyecto ya cercano al mercado y a la explotación real.…”

“…En estos experimentos se pretendía estudiar el uso que los usuarios hacen de la interpretación de la lengua de signos (incluyendo pruebas objetivas, como el seguimiento de la posición de los ojos), así como sus preferencias y la inteligibilidad de las distintas opciones de configuración. Es decir, partiendo de una obra audiovisual (como muestra la parte derecha de la figura 75, extraída de [110]) se le dotó de interpretación en lengua de signos (ventana de la izquierda en la figura 75), con distintas opciones de configuración en cuanto a posición y tamaño de la ventana. A continuación, mediante un cuestionario, el usuario respondía a unas preguntas, que demostraban la inteligibilidad para las distintas opciones (recuerdo o comprensión de la lengua de signos), así como sus preferencias.…”

“…La utilización de la lengua de signos evita que los resultados se vean influidos por una lengua adicional en los cuestionarios. La figura 76, extraída de [110], muestra una de las preguntas de los cuestionarios de HBB4ALL. La persona que participa en el test necesita un ordenador o tableta para la realización del cuestionario, el cual se presenta mediante un navegador en una interfaz web.…”

“…Finalmente, además de la mejora metodológica que suponen los cuestionarios y las ventajas de índole tecnológica, desde un punto de vista simbólico, estos cuestionarios suponen también un reconocimiento de la lengua de signos, al presentarse como una herramienta válida de comunicación en una investigación social (y no únicamente como el objeto de estudio de las investigaciones) [110].…”