The use of deep learning technology in dance movement generation

Abstract

The dance generated by the traditional music action matching and statistical mapping models is less consistent with the music itself. Moreover, new dance movements cannot be generated. A dance movement generation algorithm based on deep learning is designed to extract the mapping between sound and motion features to solve these problems. First, the sound and motion features are extracted from music and dance videos, and then, the model is built. In addition, a generator module, a discriminator module, and a self-encoder module are added to make the dance movement smoother and consistent with the music. The Pix2PixHD model is used to transform the dance pose sequence into a real version of the dance. Finally, the experiment takes the dance video on the network as the training data and trained 5,000 times. About 80% of the dance data are used as the training set and 20% as the test set. The experimental results show that Train, Valid, and Test values based on the Generator+Discriminator+Autoencoder model are 15.36, 17.19, and 19.12, respectively. The similarity between the generated dance sequence and the real dance sequence is 0.063, which shows that the proposed model can generate a dance more in line with the music. Moreover, the generated dance posture is closer to the real dance posture. The discussion has certain reference value for intelligent dance teaching, game field, cross-modal generation, and exploring the relationship between audio-visual information.

Kelayakan Modul Digital Berbasis Milkshake Untuk Meningkatkan Hasil Belajar

“…Pembelajaran seni tari merupakan salah satu aspek pembelajaran pada mata pelajaran SBdP (Ayuni, 2021;Pitriani, 2020;Wati & Iskandar, 2020). Seni tari adalah gerakan tubuh yang dilakukan secara berirama pada suatu waktu dan tempat tertentu untuk mengungkapkan gagasan, perasaan, atau pikiran, seni tari juga dapat digunakan sebagai sarana komunikasi yang ditampilkan melalui gerakan tubuh manusia (Ayuni, 2021;Liu & Ko, 2022;Yulianti et al, 2022). Sekolah dasar merupakan salah satu tempat untuk memperkenalkan dan mengembangkan seni tari melalui pembelajaran seni tari (Suharyanto et al, 2023).…”

“…Sekolah dasar merupakan salah satu tempat untuk memperkenalkan dan mengembangkan seni tari melalui pembelajaran seni tari (Suharyanto et al, 2023). Pembelajaran seni tari di sekolah dasar memiliki peran yang sangat penting bagi proses pertumbuhan dan perkembangan peserta didik terutama pada aspek kreativitas, dimana dalam penerapannya pembelajaran seni tari dapat mengasah otak kanan dan otak kiri, sehingga dapat membuat peserta didik menjadi aktif, kreatif, inovatif, terampil dan berani (Hapsoh et al, 2023;Suharyanto et al, 2023;Utomo et al, 2019;Yulianti et al, 2022) Tujuan pembelajaran seni tari di sekolah dasar selain untuk mengenalkan peserta didik pada seni tari juga bertujuan untuk mengenalkan peserta didik pada budaya daerah dan melestarikan budaya daerah serta mengapresiasi seni tari itu sendiri (Giyartini et al, 2023;Liu & Ko, 2022;Minturn & Fowlin, 2020;Utomo et al, 2019). Pembelajaran seni tari di sekolah dasar bermanfaat untuk menjaga Kesehatan fisik, belajar menjaga konsetrasi, meningkatkan rasa percaya diri serta dapat meningkatkan dan memperbaiki suasana hati (Tiyas, 2022;Yulianti et al, 2022).…”

IoT based Dance Movement Recognition Model based on Deep Learning Framework

“…It helps the discriminator generate accurate classifications. Allowing the generator to use information from the discriminator enables better dance coherent action generation [4]. Dance pose estimation in coherent action generation models using deep learning is the process of predicting dancers' movements from detected body poses.…”