Eye tracking evaluation of visual analytics

Abstract

The application of eye tracking for the evaluation of humans’ viewing behavior is a common approach in psychological research. So far, the use of this technique for the evaluation of visual analytics and visualization is less prominent. We investigate recent scientific publications from the main visualization and visual analytics conferences and journals, as well as related research fields that include an evaluation by eye tracking. Furthermore, we provide an overview of evaluation goals that can be achieved by eye tracking and state-of-the-art analysis techniques for eye tracking data. Ideally, visual analytics leads to a mixed-initiative cognitive system where the mechanism of distribution is the interaction of the user with the visualization environment. Therefore, we also include a discussion of cognitive approaches and models to include the user in the evaluation process. Based on our review of the current use of eye tracking evaluation in our field and the cognitive theory, we propose directions for future research on evaluation methodology, leading to the grand challenge of developing an evaluation approach to the mixed-initiative cognitive system of visual analytics.

Eye tracking y usabilidad en ambientes informacionales digitales: revisión teórica y propuesta de procedimiento de evaluación

“…En esta categoría se encuentra un alto número de métricas identificadas por autores como Goldberg et al (2002), Jacob y Karn (2003) y Poole y Ball (2005) quienes afirman que miden principalmente la eficiencia en la búsqueda de informaciones o la dificultad en la utilización de elementos de la interfaz; (b) Métricas derivadas de sacadas: son menos comunes en evaluaciones de usabilidad (Giannotto, 2009). Pueden indicar la calidad de los elementos visuales en el estímulo o la amplia búsqueda visual; por tanto, estas métricas pueden indicar dificultades como la codificación visual (Kurzhals et al, 2015); (c) Métricas derivadas del scanpath: pueden adquirir información sobre estrategias visuales de lectura o identificar problemas específicos con el diseño de la visualización durante la tarea (Kurzhals et al, 2015).…”

“…Entre las técnicas de visualización más referenciadas en la literatura (Kurzhals et al, 2015) se hallan los mapas de atención y diagramas de mirada (gaze plots). Los mapas de atención despliegan la distribución espacial de los datos de eye tracking sobre un estímulo estático que se encuentra en una determinada área de interés (pueden ser datos de un individuo o de varios participantes), perdiendo esta técnica el componente temporal de los datos.…”

User Evaluation of Map-Based Visual Analytic Tools

“…Because visual analytics tools are based on visual stimuli that are perceived by sight, eye-tracking is a suitable method for evaluating these tools. A review of eye-tracking applications for the evaluation of visual analytics is presented by Kurzhals et al [26] and Krassanakis and Cybulski [27].…”

From analytical purposes to data visualizations: a decision process guided by a conceptual framework and eye tracking

“…While eye tracking has been widely used to measure the distribution of visual dimensions, e. g., in marketing or psychology, it only recently gained popularity in visualization research [31].…”