A brief review: Groupware evaluation by performance of specific tasks

Abstract

Benchmarks are popular in many fields, but rare or absent in the CSCW research. Performance based evaluation would be a good choice if given a certain set of specific tasks. As the first step to promote a benchmark, we conduct this brief review about groupware evaluation by performance of specific tasks. Particularly, we collect commonly used specific tasks and classify them into four categories: hidden profile tasks, cognitive conflict tasks, trading tasks, and repair tasks. We also identify some challenges to achieve a benchmark.

Proceso de evaluación de usabilidad en aplicaciones colaborativas con interfaces de usuario multimodal

“…Es importante señalar que para llevar acabo una evaluación se debe seguir un plan de trabajo bien definido. Para ello, De Araujo (2004), Yu (2013), y Rogers (2011) coinciden en establecer los siguientes puntos para realizar un plan de evaluación, que consiste en: establecer un objetivo, seleccionar el método de evaluación, determinar el escenario de interacción, seleccionar y reclutar el grupo de participantes, programar las tareas y fechas, recolectar y analizar resultados.…”