Visual music in a visual programming language

Abstract

Sonnet was designed as a visual language for implementing real-time processes. Early design and development of behavioral components has largely focused on the domain of music programming. However, Sonnet's architecture is well suited to expressing many kinds of real-time activities. In particular, Sonnet is easily extended with new kinds of data types and behavioral components.We have developed a collection of visual output components for Sonnet, referred to collectively as Sonnet+Imager. Its design embodies aesthetically grounded representations of color, form, and rhythm, as well as dynamics for each. Moreover, its value is enhanced by a flexible, modular architecture that treats these graphic entities and operations as first-class objects.

“Found in Translation”: An Evolutionary Framework for Auditory–Visual Relationships

“…As for the interpretation of one specific domain set of properties, we found two distinct paths: one where they are expressed in a direct (metric) way, such as visual music examples [ 20 ], and one through cognitive findings (such as emotions or perception) [ 1 ].…”

Soma: Live Musical Performance in Which Congruent Visual, Auditory and Proprioceptive Stimuli Fuse to Form a Combined Aesthetic Narrative

“…With current practice, artists preparing for a live procedural visual music performance necessarily engage in creating the visual instruments themselves, through software engineering at some, usually high, level of complexity. Such programs are predominantly limited in their usability, as they necessarily embody the aesthetic goals of their creator [18]. Software created by one performer is thus prevented from being used by other performers to achieve their individual aesthetic goals, without extensive modification, necessarily through software engineering.…”

Audible Images: síntese de imagens controladas por áudio

“…Algumas ferramentas foram desenvolvidas buscando generalizar a manipulação de informações multimídia, e dessa forma expandir as opções de utilização dessas informações em diversos contextos. Em particular, sistemas voltados à geração de imagens (também chamados instrumentos visuais) são ferramentas de síntese de imagem em tempo-real que obedecem a controles interativos, como Imager, Bomb, MusiKalscope, Virtual Choreographer, Bindhu e Bliss Paint [Collopy 1999, Jacquemin 2004]. Estas ferramentas normalmente são construídas sobre alguma plataforma de programação multimídia em tempo-real, como MAX, Pd ou Sonnet.…”

“…Sintetizadores de vídeo realizam a síntese de imagens em tempo real, podendo fornecer uma grande variedade de resultados com manipulações puramente eletrônicas, sem possuir uma entrada de vídeo tradicional (como uma câmera). Um conceito correlato é o de instrumento visual [Collopy 1999], como analogia ao instrumento musical, que corresponde a um sintetizador de vídeo que responde a controles interativos, podendo ser operado por uma pessoa, um software, etc. Um destes instrumentos visuais é o GEM [Danks 1997], que utiliza a biblioteca para gráficos e modelagem 3D chamada OpenGL (Open Graphics Library).…”

“…Este trabalho visa a construção de um sistema computacional (AIM -Audible IMages) que permita a definição de associações entre parâmetros musicais e visuais a fim de permitir a geração automática de animações em vídeo a partir de entradas sonoras, que servem de acompanhamento visual à entrada musical. As associações entre parâmetros musicais e visuais podem ser controladas e modificadas em tempo-real, através de interfaces, que se comportam como instrumentos visuais [Collopy 1999].…”