MotionLab Sonify: A Framework for the Sonification of Human Motion Data

Effenberg, Alfred O.; Melzer, James E.; Weber, Andreas; Zinke, Arno

doi:10.1109/iv.2005.84

Cited by 10 publications

(6 citation statements)

References 5 publications

Supporting

Mentioning

Contrasting

Unclassified

Order By: Relevance

“…As has been shown by our experiments, the benefit of the multi-linear representation over a simply linear representation of a suitably structured collection of motion data is especially relevant if motions should be approximated by rather few components, e.g. in the context of reconstruction of motion by low-dimensional control signals (Chai and Hodgins, 2005) or in the context of auditory presentation of a motion (Droumeva and Wakkary, 2006;Röber and Masuch, 2005;Effenberg et al, 2005). This paper presents a proof of concept, for which we could use a motion database having examples for all data of the built tensors.…”

Section: Discussionmentioning

confidence: 73%

Multi-Mode Representation of Motion Data

Krüger

Tautges

Weber

2007

Proceedings of the Second International Conference on Computer Graphics Theory and Applications

View full text Add to dashboard Cite

Abstract:We investigate the use of multi-linear models to represent human motion data. We show that naturally occurring modes in several classes of motion can be used to efficiently represent the motions for various animation tasks, such as dimensionality reduction or synthesis of new motions by morphing. We show that especially for the approximations of motions by few components the reduction based on a multi-linear model can be considerably better than one obtained by principal component analysis (PCA).

show abstract

Section: Discussionmentioning

confidence: 73%

Multi-Mode Representation of Motion Data

Krüger

Tautges

Weber

2007

Proceedings of the Second International Conference on Computer Graphics Theory and Applications

View full text Add to dashboard Cite

show abstract

“…There has been a recent resurgence in the dancer sonification literature in the past decade (Alborno et al, 2016;de Quay, Skogstad, & Jensenius, 2011;Effenberg, Melzer, Weber, & Zinke, 2005;Ferguson & Beilharz, 2009;Fox & Carlile, 2005;Frid, Elblaus, & Bresin, 2016;Goina & Polotti, 2008;Großhauser, Bläsing, Spieth, & Hermann, 2012;Hermann, Höner, & Ritter, 2005;Kapur, Tzanetakis, Virji-Babul, Wang, & Cook, 2005;Katan, 2016;Lindborg, 2016;Mironcika, Pek, Franse, & Shu, 2016;Naveda & Leman, 2008;Salter, Baalman, & Moody-Grigsby, 2007;R. M. Winters et al, 2012;Yamaguchi & Kadone, 2017).…”

Section: Dancer Sonification Systemsmentioning

confidence: 99%

Interactive sonification strategies for the motion and emotion of dance performances

Landry

Jeon

2020

J Multimodal User Interfaces

View full text Add to dashboard Cite

“…Weitsprung (Justen et al, 2014), Gymnastikturnen (Baudry et al, 2006) oder beim Fußball (Sors et al, 2017) gezeigt werden. In weiteren Projekten wurden Sonifikationsdesigns zur Anwendung im Golf (Jakus et al, 2017;Kleimann-Weiner & Berger, 2006), Karate (Takahata et al, 2004), Goalball Motion-Capture-Systeme (Effenberg et al, 2005;Jakus et al, 2017;Vogt et al, 2010), mobile Beschleunigungssensoren (Eriksson, Halvorsen & Gullstrand, 2011;Schmitz et al, 2018;Vinken et al, 2013) oder Kraftmessplatten (Effenberg, 2004;Scheef et al, 2009) (Diniz et al, 2012;Dobrian & Bevilacqua, 2003;Kapur et al, 2005;Renaud et al, 2014;Skogstad et al, 2010;Winters et al, 2012) oder verschiedener Typen von Beschleunigungssensoren (Caramiaux et al, 2011;Fabiani, Dubus & Bresin, 2010 (Larkin et al, 2008). Hier wurde ein Motion-Capture-System eingesetzt, um die Daten der Spielbewegungen zu erfassen und diese mit Hilfe verschiedener Konzepte einer Echtzeit-Sonifikation in Klang zu transformieren (diskret: Alarmglocken bei fehlerhaftem Winkel; kontinuierlich:…”

Section: Sonifikationen Grundlegender Und Sportart-spezifischer Bewegunclassified

Bewegungssonifikation: Psychologische Grundlagen und Auswirkungen der Verklanglichung menschlicher Handlungen in der Rehabilitation, im Sport und bei Musikaufführungen

Hohagen

Wöllner

2019

Jahrb. Musik.

View full text Add to dashboard Cite

Im Rahmen künstlerischer Performances und wissenschaftlicher Forschung gewinnt Bewegungssonifikation als ein wichtiger Teilbereich der Sonifikationsforschung immer mehr an Bedeutung. Sonifikation beschreibt die Übertragung von Daten in Klang und stellt zugleich eine Technik dar, die Klang als Antwort auf Interaktion erzeugt. Bewegungssonifikationen sind spezifischer die Verklanglichung menschlicher Bewegungsdaten. Dabei spielt zumeist die Übertragung von kinematischen oder dynamischen Bewegungsparametern und die Erzeugung intuitiv nachvollziehbarer Bewegungsklänge eine wichtige Rolle. Zentrale psychologische Prozesse und Theorien liegen Anwendungen von Bewegungssonifikationen zu Grunde, wie z. B. die Wahrnehmungs-Handlungs-Kopplung, das Bewegungslernen oder das Embodiment. Disziplinübergreifend sind diese Theorien innerhalb der Sport- und Leistungspsychologie oder der Musikpsychologie gut erforscht, dennoch gibt es ein großes Potential, Effekte auditiven Feedbacks in Form von Bewegungssonifikationen auf grundlegende und spezifische Performance- und Wahrnehmungsprozesse zu untersuchen. Viele Studien, die Bewegungssonifikationen als wissenschaftliche Methode einsetzen, verorten sich im Rehabilitations- und Sportbereich mit dem Ziel, Erkenntnisse über Effekte des Bewegungslernens in speziellen Bewegungsaufgaben zu gewinnen. Es gibt vielversprechende Ergebnisse, die positive Effekte von Bewegungssonifikationen auf die Bewegungsrehabilitation bei Schlaganfällen bezeugen oder auf die verbesserte Gleichgewichts- und Haltungskontrolle. Des Weiteren zeigen Ergebnisse verbesserte Leistungen beim Rudern oder Laufen durch den Einsatz eines auditiven Feedbacks in Form von Bewegungssonifikationen oder natürlichen Bewegungsklängen. Im Musikbereich werden Bewegungssonifikationen oft als Augmentierung digitaler oder traditioneller Musikinstrumente eingesetzt, um zusätzliches auditives Feedback musikalischer Bewegungen als Unterstützung beim Üben des Instrumentes zu nutzen. Zudem berichten viele Tanzstudien über verschiedene Trainingsszenarien, in denen Sonifikationen von Tanzbewegungen neue künstlerische Perspektiven eröffnen und Tänzern in Form einer pädagogischen Rückmeldung helfen können. Wenige Untersuchungen in diesen Bereichen verwendeten jedoch randomisiert-kontrollierte Experimente, stattdessen finden sich zahlreiche Berichte zu Projekten, in deren Rahmen hochtechnologisierte Sonifikationssysteme und Forschungsdesigns für mögliche zukünftige Studien entwickelt wurden. Forscher nutzen Sonifikationen zumeist ohne die verwendeten Sonifikationsstrategien zu evaluieren, weder in Bezug auf Effekte unterschiedlicher Konzepte auditiven Feedbacks auf eine bestimmte Aufgabe, noch im Hinblick auf ästhetische Aspekte des Sonifikationsklanges. Das Ziel dieses Artikels ist es, eine Übersicht zu Forschungsergebnissen aus verschiedenen Anwendungsbereichen von Bewegungssonifikationen zu geben und diese im Hinblick auf beteiligte psychologische Prozesse und verwendete Sonifikationsstrategien zu diskutieren. Dieser Artikel stellt die wichtigsten Definitionen im Bereich der Bewegungssonifikation vor und beschäftigt sich mit zu Grunde liegenden psychologischen Vorgängen. Außerdem fasst er zentrale Studien von Bewegungssonifikationen in der Rehabilitation, im Sport sowie im Musikbereich zusammen und fokussiert dabei sowohl experimentelle Designs als auch Evaluationsansätze von Sonifikationsstrategien. Auf Basis bisheriger Erkenntnisse bietet der Einsatz von Bewegungssonifikationen für die musikpsychologische Forschung ein großes Potential.

show abstract

MotionLab Sonify: A Framework for the Sonification of Human Motion Data

Cited by 10 publications

References 5 publications

Multi-Mode Representation of Motion Data

Multi-Mode Representation of Motion Data

Interactive sonification strategies for the motion and emotion of dance performances

Bewegungssonifikation: Psychologische Grundlagen und Auswirkungen der Verklanglichung menschlicher Handlungen in der Rehabilitation, im Sport und bei Musikaufführungen

Contact Info

Product

Resources

About