This chapter presents recent work concerning physically modelled virtual musical instruments and force feedback. Firstly, we discuss fundamental differences in the gesture-sound relationship between acoustic instruments and digital musical instruments, the former being linked by dynamic physical coupling, the latter by transmission and processing of information and control signals. We then present an approach that allows experiencing physical coupling with virtual instruments, using the CORDIS-ANIMA physical modelling formalism, synchronous computation and force-feedback devices. To this end, we introduce a framework for the creation and manipulation of multisensory virtual instruments, called the MSCI platform. In particular, we elaborate on the cohabitation, within a single physical model, of sections simulated at different rates. Finally, we discuss the relevance of creating virtual musical instruments in this manner, and we consider their use in live performance.

No abstract

Abstract

RESUME :Dans le cadre d'une part de la mise en place de l'enseignement pratique des Nanosciences au niveau Licence et Master et d'autre part de la sensibilisation du « grand public » au Nanomonde, cet article présente le dévelop-pement d'une plateforme interactive et multi-sensorielle appelée le « NanoLearner ». Cette plateforme associe un système à retour d'effort connecté avec des nano-scènes virtuelles. Elle permet d'aborder la problématique de la nanomanipulation ainsi que la notion complexe de nano-contact. L'impact des différents retours sensoriels (haptique, visuel et sonore) sur l'identification des aspects clés du nano-contact a été évalué au travers d'un questionnaire et de statistiques associées. Une version universitaire du NanoLearner est à présent disponible sur la plateforme d'enseignement pratique Nanomonde du CIME-Nanotech.

A study on force-feedback interaction with a model of a neural oscillator provides insight into enhanced humanrobot interactions for controlling musical sound. We provide differential equations and discrete-time computable equations for the core oscillator model developed by Edward Large for simulating rhythm perception. Using a mechanical analog parameterization, we derive a force-feedback model structure that enables a human to share control of a virtual percussion instrument with a "robotic" neural oscillator. A formal human subject test indicated that strong coupling (STRNG) between the force-feedback device and the neural oscillator provided subjects with the best control. Overall, the human subjects predominantly found the interaction to be "enjoyable" and "fun" or "entertaining." However, there were indications that some subjects preferred a medium-strength coupling (MED), presumably because they were unaccustomed to such strong force-feedback interaction with an external agent. With related models, test subjects performed better when they could synchronize their input in phase with a dominant sensory feedback modality. In contrast, subjects tended to perform worse when an optimal strategy was to move the force-feedback device with a 90°phase lag. Our results suggest an extension of dynamic pattern theory to force-feedback tasks. In closing, we provide an overview of how a similar force-feedback scenario could be used in a more complex musical robotics setting.

No abstract

No abstract

Cet article propose une réflexion autour du geste instrumental musical, de sa nature physique et de sa place dans le monde numérique. Nous abordons dans un premier temps la différence fondamentale du lien geste-son entre instruments acoustiques et instruments musicaux numériques, le premier cas étant régi par un couplage physique dynamique et le second par le traitement et la transmission d'informations et de signaux. Nous présentons ensuite une approche permettant le couplage physique avec des instruments virtuels simulés, s'appuyant sur le formalisme de modélisation physique CORDIS-ANIMA et l'utilisation de systèmes à retour d'effort. En particulier nous développons les problématiques de cohabitation et de couplage physique dans le cadre de réseaux physiques multifréquence. Pour terminer, nous présentons des exemples d'instruments virtuels créés de cette manière et discutons de l'intérêt de créer un tel lien physique à l'instrument dans le cadre numérique.ABSTRACT. This paper proposes a reflexion concerning instrumental musical gestures, their nature and how they transpose into the digital world. First, we discuss the fundamental difference in the gesture-sound relationship between acoustic instruments and digital musical instruments, the former being linked by a dynamical physical coupling, the latter by transmission and processing of information and signals. We then present an approach allowing experiencing physical coupling with virtual instruments, using the CORDIS-ANIMA physical modelling system and force feedback devices. In particular, we elaborate on the cohabitation and physical coupling of physical models simulated at different rates. Finally, we present examples of virtual instruments developed with this approach and discuss the relevance of creating such a physical connexion to instruments in the digital context. MOTS-CLÉS : modélisation physique, synthèse sonore, geste instrumental, couplage physique, systèmes à retour d'effort, simulation multifréquence, instruments virtuels, instruments musicaux numériques.