American Sign Language Recognition for Alphabets Using MediaPipe and LSTM

Sundar, B. Shyam; Bagyammal, T.

doi:10.1016/j.procs.2022.12.066

Cited by 19 publications

(7 citation statements)

References 9 publications

Supporting

Mentioning

Contrasting

Order By: Relevance

“…Highlighting the importance of capturing temporal information in deep learning models, they underscored the need for further exploration in this domain. Sundar et al [4] (2022) explored American Sign Language (ASL) alphabet recognition using MediaPipe and LSTM, leveraging advances in artificial intelligence. Gesture recognition, crucial for various applications including communication for the deaf-mute, human-computer interaction, and medical fields, was the focus.…”

Section: IImentioning

confidence: 99%

A Deep Learning Approach for Real-Time Sign Language Detection and Response through Avatar Model

2024

IJRASET

View full text Add to dashboard Cite

This paper focuses on the evolution of a real-time sign language detection model using computer vision, machine learning, and deep learning. Its goal is to narrow the poor communication for the speaking and hearing-impaired community by using recurrent neural networks and long short-term memory models. The proposed system utilizes a dataset comprising sign language gestures captured in various contexts and by different signers. Preprocessing techniques are applied to draw out fitting features from the video frames, including hand movements, facial expressions, and body postures. The LSTM neural network architecture is chosen to grab temporal dependencies in sequential data, making it suitable for the robust nature of sign language. The training process involves optimizing the LSTM network on the labeled dataset, incorporating techniques such as transfer learning and data augmentation to enhance model generalization. The resulting model is capable of recognizing a divergent set of sign language actions in real-time

show abstract

Section: IImentioning

confidence: 99%

A Deep Learning Approach for Real-Time Sign Language Detection and Response through Avatar Model

2024

IJRASET

View full text Add to dashboard Cite

show abstract

“…Sundar et al [10] Rezende et al [4], que elaborou o conjunto de dados MINDS-Libras usado neste trabalho. Seu sistema de reconhecimento de sinais aplica uma CNN-3D de modo semelhante ao utilizado em [12]: quadros-chave são extraídos dos vídeos e em seguida redimensionados e utilizados como entradas da CNN.…”

Section: Trabalhos Relacionadosunclassified

“…Os estudos mencionados demonstram a eficácia de diversos classificadores em reconhecer sinais Libras com altas acurácias, sobretudo em conjuntos de sinais estáticos [6]. Nos trabalhos envolvendo sinais dinâmicos [4], [9], [10], [11], [12], espera-se uma queda de acurácia, sobretudo quando se aumenta o vocabulário (número de classes). No entanto, ainda existe muito trabalho a ser feito na criação de sistemas mais robustos e eficientes que podem lidar com um grande conjunto de sinais (para aplicações mais realistas), variações na iluminação, ângulos de câmera e planos de fundo.…”

Section: Trabalhos Relacionadosunclassified

“…O uso do MediaPipe para a extração de pontos-chave do signatário permite reduzir a carga computacional necessária em comparação com a abordagem convencional de processar as imagens completas. Entretanto, diferente dos trabalhos descritos em [10], [11], nós aplicamos técnicas de agrupamento nos pontos chave e classificamos apenas os centroides dos grupos. Isso permite reduzir ainda mais o custo computacional.…”

Section: Trabalhos Relacionadosunclassified

See 1 more Smart Citation

Interpretação de gestos de Libras usando k-means e Random Forest

Caiafa,

Basilio,

Lima

et al. 2023

Anais Do XLI Simpósio Brasileiro De Telecomunicações E Processamento De Sinais

View full text Add to dashboard Cite

Resumo-Pessoas com perdas mais graves de audição costumam utilizar uma língua de sinais para se comunicar. Entretanto, o restante da população não costuma saber se comunicar usando linguagens de sinais. Explorando uma sub-área da visão computacional conhecida como Reconhecimento de Linguagens de Sinais (SLR), propomos um framework de baixo custo para classificar sinais da Libras em vídeo. O método proposto utiliza MediaPipe, para extração de pontos-chaves de usuários, K-Means para agrupar esses pontos e classificadores KNN e Random Forest para classificar os agrupamentos. Nosso modelo resultou em uma acurácia de 94,72% na base de dados MINDS-Libras.

show abstract

“…Sundar B et al [8] presented a vision-based approach for recognizing ASL alphabets using the MediaPipe framework. Their system achieved an accuracy of 99% in recognizing 26 ASL alphabets through hand gesture recognition using Long Short-Term Memory (LSTM).…”

Section: Previous Workmentioning

confidence: 99%

Galgotias University, Greater Noida

KUMAR

2022

SSRN Journal

View full text Add to dashboard Cite

American Sign Language Recognition for Alphabets Using MediaPipe and LSTM

Cited by 19 publications

References 9 publications

A Deep Learning Approach for Real-Time Sign Language Detection and Response through Avatar Model

A Deep Learning Approach for Real-Time Sign Language Detection and Response through Avatar Model

Interpretação de gestos de Libras usando k-means e Random Forest

Galgotias University, Greater Noida

Contact Info

Product

Resources

About