Recognizing Sign Language from Brain Imaging

Abstract

The problem of classifying complex motor activities from brain imaging is relatively new territory within the fields of neuroscience and brain-computer interfaces. We report positive sign language classification results using a tournament of pairwise support vector machine classifiers for a set of 6 executed signs and also for a set of 6 imagined signs. For a set of 3 contrasted pairs of signs, executed sign and imagined sign classification accuracies were highly significant at 96.7% and 73.3% respectively. Multiclass classification results also were highly significant at 66.7% for executed sign and 50% for imagined sign. These results lay the groundwork for a brain-computer interface based on imagined sign language, with the potential to enable communication in the nearly 200,000 individuals that develop progressive muscular diseases each year.

Tecnologias de interface cérebro-computador para tradução de braille e libras: possibilidades e alternativas

“…Resultados indicam uma tendência em direção ao aperfeiçoamento das técnicas de captação e classificação de sinais cerebrais, sendo plausível que um sistema de ICC para tradução da Língua dos Sinais para texto e áudio seja implementado para uso nas TIC em questão de década. Birbaumer et al (2000) e Mehta et al (2010), respectivamente, apresentam algumas tecnologias e considerações dependentes e a serem aperfeiçoadas para a implementação de um sistema ICC tradutor da Língua dos Sinais: [...] Alcançar maiores velocidades e precisão dependem de melhorias em algoritmos de tradução e treinamento do usuário. Estas melhorias dependem de uma cooperação interdisciplinar entre neurocientistas, engenheiros, programadores de computadores, psicólogos, e especialistas em reabilitação, e na adoção e divulgação de métodos de avaliação para alternativas.…”