Extending multimedia languages to support multimodal-multiuser interactions

Abstract

Hardware and software technologies have given rise to a new class of human-computer interfaces that both explores multiple modalities and allows for multiple collaborating users. When compared to the development of traditional single-user WIMP (windows, icons, menus, pointer)-based applications, however, applications supporting the seamless integration of multimodal-multiuser interactions bring new specification and runtime requirements. In this thesis, with the aim of assisting the specification of multimedia applications that integrate multimodal-multiuser interactions, we: (1) propose the MMAM (Multimodal-Multiuser Authoring Model); (2) present three different instantiations of it (in NCL, HTML, and a block-based syntax); and (3) evaluate the proposed model through a user study. MMAM enables programmers to design and ponder different solutions for applications with multimodal-multiuser requirements. Its instantiations served as proofs of concept about the feasibility of our model and enabled us to perform the user study. The user study focused on capturing evidence of both the user understanding and the user acceptance of the proposed model. 94.47% of the participants gave positive answers to the block-based representation TAM questions, whereas 75.17% of them gave positive answers to the instantiations-related questions.

Possibilitando o Reconhecimento de Expressões Faciais em Aplicações Ginga-NCL

“…Com relação ao Ginga-NCL, há muitos trabalhos que podem dar e receber contribuições referentes à presente proposta. Alguns exemplos, são trabalhos de extensão à NCL, como os de Barreto et al [4] [3] e Guedes et al [36], que apresentam propostas de funcionalidade multiusuário, que, por isso, se beneficiariam diretamente de reconhecimento facial. Outros exemplos são as proposições de extensão de Mello Brandão et al [12] e Batista et al [5], que tratam da comunicação com dispositivos de rede doméstica.…”

“…Em acordo com o requisito da proposta para a TV 3.0 e contribuindo com pesquisas em aplicações multiusuário [4] [36], este trabalho propõe uma solução para reconhecimento de expressões faciais através do Ginga. Para tal, foram feitas duas implementações: a primeira usando a versão padrão do middleware e a segunda usando uma versão modificada, estendida, para que haja a especificação desse tipo de interação em documentos NCL.…”