A low cost hands-free typing system for disabled people

Abstract

Virtual reality can provide the means of computer interaction for disabled people. There are many methods for aiding disabled people to communicate with computer; however some of them may require high amount of processing and cannot be implemented in real-time applications. In addition, many methods may require additional equipment to be attached to the users, which can reduce freedom of movement and increase cost of the system. In this article, we propose a real time, low cost and hands free method for typing; only utilizing user's head movements. Head movement detection is done by a color-marker discrimination algorithm, which compares differences between RGB, hue and saturation components of the markers and the environment. The method has shown to be adoptable to different lighting conditions. Also, trained users showed to be able to type a text with a reasonable speed (4.5 s for each character), and with a low error rate (0.0% to 5.5%).

Técnicas de entrada de texto em sistemas de realidade virtual que visam a inclusão de pessoas com deficiência em membros superiores: uma revisão sistemática

“…Vale a discussão acerca da confirmação de seleção de caractere baseada no tempo de permanência, presente em algumas técnicas. Apesar de, geralmente, esta estratégia ser utilizada por técnicas mais simples que buscam possibilitar uma interação com o uso de poucos ou nenhum botão, esta pode reduzir a velocidade de digitação (ARAB et al, 2012;PALMEIRA et al, 2021), gerar fadiga, estresse e erros na inserção de caracteres (LU et al, 2020). Outro fator que deve ser considerado é o tempo de processamento de funções implementadas em algumas técnicas.…”

“…Apesar de representarem intervalos menores que o segundo (na maioria das vezes), podem reduzir ainda mais a velocidade de digitação do usuário. Usualmente, tal fator está relacionado a técnicas que possuem visão computacional e precisam processar imagens em tempo real (ARAB et al, 2012;YANG;LEE;CHOI, 2020;PALMEIRA et al, 2021). Tais técnicas com o uso de câmeras também podem ser prejudicadas pela iluminação do ambiente e enviar sinais imprecisos.…”

“…No entanto, especula-se que, após masterizado o uso da técnica, estas técnicas podem apresentar desempenho superior as demais (YANG; LEE; CHOI, 2020). Percebeu-se ainda que algumas técnicas só podem ser utilizadas se o usuário estiver sentado em frente à uma mesa (ARAB et al, 2012;PALMEIRA et al, 2021); outras podem ser utilizadas de acordo com a preferência do usuário, seja em pé ou sentado (SEO; CHOI, 2018;XU et al, 2019;LU et al, 2019;LU et al, 2020); e, ainda, existem algumas técnicas que são projetadas a fim de possibilitar que o usuário interaja de outras formas com o AV enquanto faz o processo de entrada de texto, sem prestar atenção visual no teclado virtual ou nos dedos (JIANG et al, 2019;YANG;LEE;CHOI, 2020). Portanto, ao se desenvolver novas técnicas de entrada de texto, tal decisão deve ser tomada de acordo com os objetivos do projeto.…”

“…Fonte: Os autores. Arab et al (2012) apresentaram uma técnica de entrada de texto de baixo custo e sem a necessidade do uso das mãos do usuário para realizar o processo. Tal processo é realizado com o uso de uma webcam e três marcadores coloridos aplicados nas laterais e na parte superior da cabeça do usuário (Figura 2a).…”

“…Observou-se que algumas técnicas, por terem sua usabilidade projetada especificamente para PcDs, proporcionam um desempenho prejudicado quando utilizadas por pessoas sem tais limitações físicas (ARAB et al, 2012). Além do mais, as discussões deste trabalho apontam para a importância de desenvolvimento de novas técnicas de entrada de texto para RV que não exijam custos nem dispositivos adicionais.…”