Cascading Hand and Eye Movement for Augmented Reality Videoconferencing

Abstract

We have implemented an augmented reality videoconferencing system that inserts virtual graphics overlays into the live video stream of remote conference participants. The virtual objects are manipulated using a novel interaction technique cascading bimanual tangible interaction and eye tracking. User studies prove that our user interface enriches remote collaboration by offering hitherto unexplored ways for collaborative object manipulation such as gaze controlled raypicking of remote physical and virtual objects. We have created an augmented reality-based videoconferencing tool that allows users to discuss and manipulate real and virtual objects over great distances while preserving non-verbal communication and part of the conference parties' physical environment. We have experimented with user interface techniques that make communication and interaction smoother while discussing real and virtual objects with a remote videoconference party. Physical objects are pose-tracked with handheld fiducial markers and virtual objects are assigned to tracked physical placeholders. In our application scenario videoconference parties use both hands to carry out object manipulation and interaction tasks such as translation, rotation or selection with fiducial markers. While two-handed tangible interaction may rely solely on complex 2D and 3D gestures aided by traditional input devices such as mouse and keyboard, we have found that exploiting the human eye as a natural input device during bimanual object manipulation yields faster, richer and more intuitive communication between partners in remote collaboration tasks. To support this statement, we have implemented and evaluated an interaction technique cascading bimanual tangible interaction and eye tracking. Figure 1 shows a schema of our AR videoconferencing system enhanced by eye tracking. This paper first discusses how tangible augmented reality and non-intrusive eye tracking enhance remote collaboration while comparing our system with related work, then presents our application scenario and interaction technique with implementation details. We conclude our paper with the results of our user study. REMOTE COLLABORATION IN ARUsers of AR applications can see the real world, which provides a reference frame for their actions. They can see themselves and their collaborators, enabling smooth communication with nonverbal cues during collaborative work. Moreover, a virtual space with synthetic objects is aligned with and superimposed onto the real world and shared among the users. Thus changes made to manipulated objects during the collaborative session are distributed and immediately visible to all participants. Unfortunately, this form of shared AR requires that the collaborators are sharing the same physical space, making it incompatible with remote collaboration over greater distances. State-of-the-art remote collaboration tools include audio/video conferencing and application sharing to help bridge the distance by displaying the remote parties' real environments. Ap...

Kibitzer

“…The exploitation of a user's detailed eye gaze through suitable trackers is a rarely considered aspect in Augmented Reality. Very recent examples include the integration of eye-tracking in a stationary AR videoconferencing system [1] and a wearable AR system combining a head-mounted display and an eye-tracker to virtually interact with a real-world art gallery [12].…”

Estudio y evaluación de contenidos didácticos en el desarrollo de las habilidades espaciales en el ámbito de la ingeniería

“…La industrial del videojuego, tiene un gran interés en este tipo de aplicaciones, ya que en la actualidad operan en el ámbito de la realidad virtual y según los nuevos desarrollos (ver año 2007 y 2009 de capitulo 3.3) la realidad aumentada es una tecnología novedosa que puede ofrecer grandes posibilidades. En el ámbito de investigación del ocio y entretenimiento se han desarrollado varias aplicaciones, algunas de ellas en las siguientes referencias (Andersen, Kristensen, Nielsen, & Grønbaek, 2004), (Cooper, y otros, 2004), (Avery, Thomas, Velikovsky, & Piekarsky, 2005), (Barakonyi, Prendinger, Schmalstieg, & Ishizuka, 2007), (Matysczok, Radkowski, & Berssenbruegge, 2004), (Romero, Santiago, & Correia, 2004), (Brandt, 2006), (Lam, Chow, Yau, & Lyu, 2006), (Park, Kim, & Yoon, 2006), (Rashid, Bamford, Coulton, Edwards, & Sheible, 2006).…”

Entornos multimedia de realidad aumentada en el campo del arte.

“…Registra el tamaño de la pupila, el movimiento del ojo y hacia donde mira, todo en tiempo real sin restringir el movimiento de la cabeza. Unas cruces filares se centran automáticamente sobre las pupilas y córneas para indicar un registro En (Barakonyi et al, 2007) se describe un sistema RA de videoconferencia (Figura 83) en el que diversos objetos virtuales se pueden manipular mediante el movimiento de unas marcas y mediante la mirada (gracias a un sensor ocular). El sistema consta de los siguientes elementos: cada uno de los usuarios está equipado con dos monitores para visualizar el espacio local y el remoto; una cámara Web situada encima de la pantalla del ordenador apunta hacia el usuario para registrar el entorno local; también se utilizan monitores de audio para permitir comunicación sonora; finalmente, uno de los usuarios está equipado con un sensor ocular para monitorizar su mirada.…”

“…Esta tabla se muestra a continuación: como Max/MSP Jitter, que permiten la generación de sistemas interactivos en tiempo real, permitiendo la incorporación de sensores para la entrada de datos y de displays para la generación de la escena aumentada, así como la posibilidad de generar datos multimedia (gráficos, sonoros, etc.). Estas librerías son muy populares, habiéndose utilizado por muchos autores y en muy distintas aplicaciones, como en (Kato et al, 1999;Kato et al, 2000b;Billinghurst et al, 2001a;Slay et al, 2001;MacIntyre et al, 2003;Asai et al, 2004;Cooper et al, 2004;Matysczok et al, 2004;Barakonyi et al, 2005;Walczak et al, 2005;Calado Lopes et al, 2006;Park et al, 2006;Barakonyi et al, 2007), alguna de las cuales se han explicado brevemente en apartados anteriores.…”

“…Podemos citar diversas aplicaciones en el campo de la telecomunicación, como Lee et al, 2006a;Barakonyi et al, 2007). Dentro del ámbito de la comunicación remota, existe una aplicación muy peculiar de realidad mezclada en la que se establece una comunicación remota entre una persona y un animal de corral: Poultry Internet (Figura 147), descrita en Lee et al, 2006b;MXR, 2006  Apariencia: representación de los usuarios mediante avatares;…”