Remote Control for Mobile Robots Using Gestures Captured by the RGB Camera and Recognized by Deep Learning Techniques

Martinelli, Dieisson; Sousa, Antônio de Pádua; Augusto, Mário; Kalempa, Vivian Cremer; Oliveira, André Schneider de; Rohrich, Ronnier Frates; Teixeira, Marco Antônio

doi:10.1109/lars-sbr-wre48964.2019.00025

Cited by 7 publications

(2 citation statements)

References 10 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…To detect the hand gesture, the algorithm should first transform the video frames into two-dimensional images, and then apply segmentation and skin filter functions. In this area, the researchers have presented various methods that utilize machine learning techniques such as support vector machines (SVM) [6], artificial neural networks (ANN) [7], fuzzy systems [8], deep learning (DL) [9], and metaheuristic methods [10].…”

Section: Introductionmentioning

confidence: 99%

Secure CAPTCHA by Genetic Algorithm (GA) and Multi-Layer Perceptron (MLP)

Shojae Chaeikar,

Mirzaei Asl,

Yazdanpanah

et al. 2023

Electronics

View full text Add to dashboard Cite

To achieve an acceptable level of security on the web, the Completely Automatic Public Turing test to tell Computer and Human Apart (CAPTCHA) was introduced as a tool to prevent bots from doing destructive actions such as downloading or signing up. Smartphones have small screens, and, therefore, using the common CAPTCHA methods (e.g., text CAPTCHAs) in these devices raises usability issues. To introduce a reliable, secure, and usable CAPTCHA that is suitable for smartphones, this paper introduces a hand gesture recognition CAPTCHA based on applying genetic algorithm (GA) principles on Multi-Layer Perceptron (MLP). The proposed method improves the performance of MLP-based hand gesture recognition. It has been trained and evaluated on 2201 videos of the IPN Hand dataset, and MSE and RMSE benchmarks report index values of 0.0018 and 0.0424, respectively. A comparison with the related works shows a minimum of 1.79% fewer errors, and experiments produced a sensitivity of 93.42% and accuracy of 92.27–10.25% and 6.65% improvement compared to the MLP implementation. The range of the supported hand gestures can be a limit for the application of this research as a limited range may result in a vulnerable CAPTCHA. Also, the processes of training and testing require significant computational resources. In the future, we will optimize the method to run with high reliability in various illumination conditions and skin color and tone. The next development plan is to use augmented reality and create unpredictable random patterns to enhance the security of the method.

show abstract

Section: Introductionmentioning

confidence: 99%

Secure CAPTCHA by Genetic Algorithm (GA) and Multi-Layer Perceptron (MLP)

Shojae Chaeikar,

Mirzaei Asl,

Yazdanpanah

et al. 2023

Electronics

View full text Add to dashboard Cite

show abstract

“…O documento de dissertac ¸ão completo pode ser acessado em http://repositorio.utfpr.edu.br/jspui/handle/1/28785. Esse trabalho foi contribuic ¸ão direta para dois congressos [Martinelli et al 2019] e [Martinelli et al 2020]. O resultado deste trabalho encontra-se submetido em uma revista internacional, Qualis A1.…”

unclassified

Sistema adaptativo para teleoperação de uma base móvel através de reconhecimento gestual

Martinelli

Fabro

Oliveira

2022

Anais Estendidos Do XIV Simpósio Brasileiro De Robótica E XIX Simpósio Latino-Americano De Robótica (SBR/LARS Estendido 2022)

View full text Add to dashboard Cite

Este artigo apresenta o desenvolvimento de um sistema adaptativo para teleoperação de uma base móvel acoplada a um braço robótico com três graus de liberdade, através de captura de gestos apartir de uma câmera RGB. Este projeto utiliza o pipeline holístico do framework MediaPipe para capturar pontos 2D do corpo do operador através de imagens RGB e dois algoritmos são desenvolvidos através deste framework. O primeiro algoritmo é responsável por extrair características do operador que realiza o movimento solicitado para executar um determinado processo de movimento. O segundo algoritmo é responsável por utilizar os dados coletados do corpo do operador no momento do processo e identificar, por meio de classificação, a movimentação solicitada pelo operador. Após a classificação do movimento, é calculada a posição do ponto chave, que, por meio de técnicas propostas pelo algoritmo deste trabalho, resulta em um valor de 0 a 100 de ativação do movimento requerido. Este valor passa por um sistema de controle fuzzy, que emitirá o movimento do robô. Os testes são realizados com 20 operadores voluntários com o objetivo de seguir uma trajetória e recolher/entregar um objeto.

show abstract