Utilizing Gesture Recognition Technology in Children's Interactive Storybook

Kauppinen, Sami; Luojus, Satu; Tuomisto, Julius; Ahlgren, Anu

doi:10.1145/2523429.2523474

Cited by 8 publications

(6 citation statements)

References 21 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…However, they presented some concerns regarding the adoption of the tool. Although the use of Kinect in classes was explored in other works (Shiratuddin and Wong 2011;Kauppinen et al 2013;Renzi et al 2015), our results showed that the number of students to deal with could impact negatively in the acceptance of technology by the teachers. The teachers' statements reinforce the results found out in the literature that the NUI acts positively on the attention and the engagement of the children for the use of learning tools (Goyal et al 2017;Rahman et al 2013;Falcão et al 2017;Martin-SanJose et al 2017).…”

Section: Findings and Discussion On The Teachers' Perspectivementioning

confidence: 61%

“…Body movements, gestures and voice are recognized as NUIs, because they represent movements and actions that humans usually do in the real world (Rahman et al 2013;Wigdor and Wixon 2011). However, the so-called natural movements are not always understood in this way by children (Kauppinen et al 2013), which can cause a misunderstanding of how children face the interaction and the learning goal.…”

Section: Fundamentalsmentioning

confidence: 99%

“…The potential to use hand gestures in learning environments has been explored in some works. Kauppinen et al (Kauppinen et al 2013) present a study using the Kinect Stories application from which children from 3 to 6 years old interact with a storybook, using gesture and voice commands. Renzi et al (Renzi et al 2015) use NUI and gestures to stimulate and motivate children to learn the basics of music notation.…”

Section: Related Workmentioning

confidence: 99%

“…The learning environment have provided different ways of interacting with its resources. Among the various types of movements, hand gestures have explored for learning purposes in different contexts as for instance, to interact with storybooks (Kauppinen et al 2013), and for musical notation learning (Renzi et al 2015). Other works present experiences using touch and gestures interaction in the context of CT learning (Goyal et al 2017;Rahman et al 2013;Papadakis et al 2016;Gomes et al 2018;Falcão et al 2017).…”

Section: Introductionmentioning

confidence: 99%

See 3 more Smart Citations

Educational games and the new forms of interactions

Zaina

Castro

Martinelli

et al. 2019

Smart Learn. Environ.

View full text Add to dashboard Cite

Games are seen as environments that promote the engagement of children to the learning of Computational Thinking (CT) concepts. The new forms of interaction using body movements and gestures have increased in particular in video-games. However, few studies have been conducted to investigate how children feel and interact when using hand gestures in the context of learning tools. And this number becomes low when we look at studies about CT learning. In this article, we explored the feedback of 29 children about their interaction by using hand gestures in a game to stimulate the CT, i.e. a CT game. In the analysis, we explored how these forms of interaction impacted on the accomplishing of the game phases. Our findings revealed the children kept more engaged when using hand gestures, and consequently, this affected their concentration on the game purpose. To complement our investigation, we interviewed 8 elementary school teachers to gather their perceptions about the potential of using hand gestures and our game. The findings showed the teachers agreed that hand gestures are suitable to be used in learning tools. They also demonstrated interested in introducing the CT fundamentals in their classes. However, these teachers demonstrated some concerns about how to match the use of that technology to their teaching activities.

show abstract

Section: Findings and Discussion On The Teachers' Perspectivementioning

confidence: 61%

Section: Fundamentalsmentioning

confidence: 99%

Section: Related Workmentioning

confidence: 99%

Section: Introductionmentioning

confidence: 99%

See 2 more Smart Citations

Educational games and the new forms of interactions

Zaina

Castro

Martinelli

et al. 2019

Smart Learn. Environ.

View full text Add to dashboard Cite

show abstract

“…Estudos têm sido desenvolvidos para mostrar o potencial do uso das mãos em aplicações voltadas à aprendizagem. Kauppinen et al (2013) apresentam um estudo utilizando a aplicação Kinect Stories, onde crianças de 3 a 6 anos interagem com um livro de histórias, utilizando gesto e comandos por voz. Renzi et al (2015) utilizaram NUI e gestos para estimular e motivar as crianças a aprender o básico sobre notação musical.…”

Section: Trabalhos Relacionadosunclassified

Explorando o potencial da interação NUI em um jogo de pensamento computacional para crianças

Castro

Sakata

Zaina

2019

RBIE

View full text Add to dashboard Cite

Os novos paradigmas de interações têm surgido ao longo dos anos e motivam a investigação do seu potencial de uso no contexto do ensino-aprendizagem. Em uma interface de usuário natural (NUI - Natural User Interface), a interação ocorre naturalmente enquanto os usuários interagem com uma aplicação usando gestos, voz, toque e assim por diante. Essas formas de interação são chamadas de naturais, pois são baseadas em ações corporais e movimentos comumente adotados pelos usuários em sua vida diária. Recentemente, o ensino do pensamento computacional nos estágios iniciais da educação fundamental I tem sido amplamente discutido por profissionais da educação e pesquisadores em informática e educação no Brasil. E a maioria deles reconhece que os jogos são um meio para encorajar as crianças a desenvolverem o pensamento computacional. Considerando que a NUI pode ser adotada por aplicativos com fins de aprendizagem, este artigo explora o potencial de usar essas formas de interação em um jogo para ensinar o pensamento computacional para crianças. O estudo foi realizado em três etapas. Primeiro, 10 crianças foram coparticipantes na seleção de gestos e imagens do jogo. Na segunda etapa, considerando os resultados da primeira, foram desenvolvidas duas versões do jogo; uma permitindo as interações por gestos e outro por toque. Finalmente, foi realizada uma investigação sobre a aceitação e uso das duas versões do jogo, com 49 crianças. Todas as crianças que participaram do estudo pertenciam a escolas primárias no Brasil. Os resultados mostraram que, usando os gestos para interagir, as crianças se tornam mais focadas e mais conscientes dos movimentos que estavam realizando do que quando usavam a interação através do toque. Além disso, um alto nível de aceitação para ambos os modos de interação foi relatado pelos participantes em uma demonstração de que não tiveram dificuldades em entender os gestos e imagens.

show abstract