Semi-automation of gesture annotation by machine learning and human collaboration

Abstract

Gesture and multimodal communication researchers typically annotate video data manually, even though this can be a very time-consuming task. In the present work, a method to detect gestures is proposed as a fundamental step towards a semi-automatic gesture annotation tool. The proposed method can be applied to RGB videos and requires annotations of part of a video as input. The technique deploys a pose estimation method and active learning. In the experiment, it is shown that if about 27% of the video is annotated, the remaining parts of the video can be annotated automatically with an F-score of at least 0.85. Users can run this tool with a small number of annotations first. If the predicted annotations for the remainder of the video are not satisfactory, users can add further annotations and run the tool again. The code has been released so that other researchers and practitioners can use the results of this research. This tool has been confirmed to work in conjunction with ELAN.

A Roadmap for Technological Innovation in Multimodal Communication Research

“…In terms of gesture annotation, combining (automatic) motion-tracking data with manual annotation allows labelers to achieve consistent measures of time points when an individual gesture begins or ends. Recent effort has focused on using automatic annotation tools to speed up the annotation process (e.g., SPUDNIG [163]; the annotation tool from [71]). While such automatic systems have revealed high reliability with human coders identifying moments of movement (i.e., gesturing) and moments of rest, there is still much work to be done with regard to automatically assessing more nuanced aspects of individual gestures (in terms of type or function with regards to speech).…”

¿Cómo se comunica la investigación a través de la pantalla? Análisis del discurso multimodal en las comunicaciones en congresos digitales en el área de comunicación

“…El español no es una excepción, por lo que varios autores emplean el mismo término para englobar diferentes géneros orales (Alcaraz Varó, 2000;Moyano, 2001;Parodi et al, 2009). En segundo lugar, la codificación y análisis de datos de un discurso oral consume una gran cantidad de tiempo y esfuerzo (Ienaga et al, 2022;Kaur & Ali, 2018). La mayor accesibilidad a equipos de grabación de calidad y económicos, así como el desarrollo de softwares específicos para el análisis de discursos orales (O'Halloran, 2012;Pouw et al, 2020) ha facilitado progresivamente los estudios en esta área.…”

“…2. La recogida de datos de los discursos orales, su transcripción y su análisis supone una gran cantidad de esfuerzo y tiempo para el investigador (Ienaga et al, 2022;Kaur & Ali, 2018). La paulatina accesibilidad a equipos de grabación de calidad y económicos, así como el desarrollo de softwares específicos para el análisis de discursos orales (O'Halloran, 2012;Pouw et al, 2020) ha facilitado los estudios en esta área.…”

“…1999, 2000, 2002a, 2002b). La tendencia creciente a realizar estudios con enfoques multimodales (Jewitt et al, 2016;Morell, 2015;O'Halloran, 2012) también ha beneficiado este campo, que ha superado la limitación de analizar únicamente el lenguaje, para tener en consideración otros sistemas semióticos, con especial predilección por el aspecto visual (Carter-Thomas & Rowley-Jolivet, 2003;Cavalieri, 2021;Harrison, 2021;Hood, 2017;Rowley-Jolivet, 2002b) y, aunque en menor medida, el gesto (Ienaga et al, 2022;Norris, 2016;Pouw et al, 2020;Querol-Julián & Fortanet-Gómez, 2012).…”

“…Aun así, a inicios de los 2000 se inicia una corriente que busca profundizar en la comunicación oral de los investigadores (Ventola et al, 2002). Con un enfoque multidisciplinar, se abordan análisis del discurso centrados en la micro y la macroestructura; y en los diversos sistemas semióticos que intervienen (Kaur & Ali, 2018;Ienaga et al, 2022;Rowley-Jolivet, 2002a;Ventola et al, 2002;Viera & Taboada, 2020).…”