Subjective evaluation of spoken dialogue systems using SER VQUAL method

Hartikainen, Mikko; Salonen, Esa-Pekka; Turunen, Markku

doi:10.21437/interspeech.2004-654

Cited by 24 publications

(2 citation statements)

References 8 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…Generally, the above parameters can indicate functional problems with the application and the degree that each of those affects the user experience (Walker et al, 1999). Furthermore, the data can be automatically processed using appropriate methods (Hartikainen et al, 2004), used to train models for evaluation-based problem prediction that leads to an adaptive spoken dialogue interface (Litman et al, 1998;Litman & Pan, 2002).…”

Section: The Summative Usability Testing Of Voiceweb Systemsmentioning

confidence: 99%

Usability Methodologies for Real-Life Voice User Interfaces

Spiliotopoulos

2009

International Journal of Information Technology and Web Engineering

View full text Add to dashboard Cite

This paper studies the usability methodologies for spoken dialogue web interfaces along with the appropriate designer-needs analysis. The work unfolds a theoretical perspective to the methods that are extensively used and provides a framework description for creating and testing usable content and applications for conversational interfaces. The main concerns include the design issues for usability testing and evaluation during the development lifecycle, the basic customer experience metrics and the problems that arise after the deployment of real-life systems. Through the discussion of the evaluation and testing methods, this paper argues on the importance and the potential of wizard-based functional assessment and usability testing for deployed systems, presenting an appropriate environment as part of an integrated development framework.

show abstract

Section: The Summative Usability Testing Of Voiceweb Systemsmentioning

confidence: 99%

Usability Methodologies for Real-Life Voice User Interfaces

Spiliotopoulos

2009

International Journal of Information Technology and Web Engineering

View full text Add to dashboard Cite

show abstract

“…(ver [Minker, 1998])), o bien desde un punto de vista general para evaluar de forma completa el diálogo y sus componentes [Bernsen and Dybkjaer, 2000]. En esta línea, la tendencia a la hora de evaluar los sistemas de diálogo es considerar no sólo las métricas obtenidas de la interacción con el sistema, sino también la opinión y percepción subjetiva del usuario ( [Hartikainen et al, 2004] y [Hone and Graham, 2001]).…”

Section: Qué Evaluarunclassified

Agentes animados personificados en sistemas interactivos: diseño y evaluación

López-Mencía¹

View full text Add to dashboard Cite

xiii la que tanto niños como profesores adquieren un papel activo. De esta experiencia se crean dos aplicaciones: Emo y Animaddin. Con ellas se muestra el éxito de la tecnología de los Agentes Animados Personificados como complemento motivador para incitar e involucrar a los niños en la interacción, como patrón gestual de imitación para expresar emociones, y como refuerzo para afianzar el aprendizaje. Por otra parte se observa la necesidad de revisión continua del comportamiento y la apariencia del Agente Animado Personificado en este tipo de aplicaciones para mantener el interés de los niños, y destaca la importancia de dotar de flexibilidad y accesibilidad al diseño de aplicaciones que incorporen la tecnología de los Agentes Animados Personificados para promover su uso entre el personal docente.

show abstract