Synphony
Expérience de réalité mixte | jeu | application
Synphony est un système interactif à réalité mixte qui augmente l’expérience de jouer des instruments. Inspiré par le phénomène naturel de la synesthésie, Synphony donne aux participants le pouvoir de voir la musique d’une manière nouvelle, offrant un terrain de jeu pour une exploration créative des harmonies à l’aide de visuels immersifs. L’expérience initie les débutants aux merveilles de l’improvisation musicale en facilitant les premiers pas et élargit la perception transmodale de la musique chez les musiciens avancés.
Photo par Vivek Menon
Synphony testée comme un jeu d’éducation musicale.
Le projet aborde également le problème de la technologie qui tend à nous éloigner de plus en plus les uns des autres. Synphony encourage la co-création de musique avec plusieurs personnes en catalysant une nouvelle conversation musicale et collaboration. Jusqu’à présent, dans sa forme initiale, le projet a été testé par deux musiciens jouant simultanément à la guitare et au piano, mais l’objectif ultime est d’augmenter le nombre d’instruments pour même accueillir un orchestre symphonique d’une centaine de musiciens. Nous pourrions imaginer un concert où chaque musicien libère une représentation visuelle colorée du ton, de la clé, du timbre et de la force joués qui fusionne ensuite avec le reste pour créer une interprétation visuelle poétique mais aussi informative comme de Fantasia, visible dans l’espace pour les deux musiciens ainsi que le public.
Dans sa forme actuelle, le projet utilise un prototype d’une paire de lunettes de la réalité augmentée à travers lesquelles l’un des musiciens peut profiter des hologrammes spatiaux. Les harmonies, les notes individuelles et la clé sont sont communiquées avec des visuels volumétriques colorés à avec lesquels les musiciens communiquent entre eux ainsi qu’avec le public via un écran supplémentaire. Les couleurs sont liées les unes aux autres en fonction des harmonies qu’elles créent (plus les couleurs sont proches, plus la combinaison sonore résultante est cohérente). Il existe également un système de reconnaissance de la clé interactif inventé par Antek qui capte la tonalité dans laquelle le musicien joue en temps réel. La conscience du système de la clé permet d’intéressantes manières de jouer avec la représentation visuelle de la consonance et de la dissonance, ainsi que d’aider le musicien à explorer l’harmonie en utilisant une interface intuitive indiquant les possibilités créatives.