Interpretação de gestos de Libras usando k-means e Random Forest

Abstract

Resumo-Pessoas com perdas mais graves de audição costumam utilizar uma língua de sinais para se comunicar. Entretanto, o restante da população não costuma saber se comunicar usando linguagens de sinais. Explorando uma sub-área da visão computacional conhecida como Reconhecimento de Linguagens de Sinais (SLR), propomos um framework de baixo custo para classificar sinais da Libras em vídeo. O método proposto utiliza MediaPipe, para extração de pontos-chaves de usuários, K-Means para agrupar esses pontos e classificadores KNN e Random Forest para classificar os agrupamentos. Nosso modelo resultou em uma acurácia de 94,72% na base de dados MINDS-Libras.