Podorythmie sensible

Représentation artistique de la podorythmie en musique traditionnelle québécoise

Podorythmie sensible est un espace de recherche et de développement pour la créativité autour de la podorythmie* en musique traditionnelle québécoise. Ce chantier s’articule dans la rencontre de deux projets LabScène, soit la création du 5e prototype de planche de podorythmie et une résidence au Métalab de la Société des Arts technologiques (la SAT) à laquelle l’équipe LabScène participe. La résidence est en cours et se déroulera jusqu’à la fin juillet 2022.

L’intention globale de Podorythmie sensible est d’explorer et de documenter diverses façon de produire des rendus artistiques, visuels et sonores, en lien avec la podorythmie. Sans souhaiter explorer toutes les façons possibles de représenter la podorythmie, l’exploration s’articule principalement autour des technologies d’innovation ouverte. LabScène développe ses objets et codes scénographiques en objets et logiciels libres, la SAT aussi : la table est mise. Ainsi, en plus d’inspirer la démarche créative de LabScène, il est souhaité que Podorythmie sensible soit une occasion pour d’autres artistes de découvrir et de s’approprier diverses façon d’embellir leur scénographie.

*La podorythmie est l’accompagnement rythmique des pieds que certains musicien.nes de tradition québécoise font en jouant d’un instrument. Les pieds sont alors un instrument percussif quadruple (2 * pointe+talon).

La démarche

Avant la résidence, quatre prototypes de planches de podorythmie multimédia ont déjà été réalisés. Ces planches sont des instruments Midi transmettant où la planche a été tapée et avec quelle vélocité. Ce signal était ensuite interprété par le logiciel Processing, où dans des modes visuels d’ambiances contemplatives ou bien dans des applications ludiques, on démontrait diverses utilisations de signaux podorythmiques.

La cinquième planche multimédia ayant été développée en parallèle à la résidence à la SAT, l’équipe LabScène a donc bénéficié de l’expertise de l’équipe d’accompagnement pour valider certaines pistes de son développement. Elle a ensuite été l’objet principal autour duquel les explorations créatives de la résidence ont gravité.

On a notamment développé un script d’interprétation de ses données qui permet de les relayer à diverses technologies scénographiques dans d’autres standards de données, Open Sound Control (OSC), pour commencer. Ensuite, on a travaillé à relayer ces données vers diverses technologies scénographiques. Puis, on a intégré un flux de données provenant de la reconnaissance squelettique en temps réel à ces ambiances. En résumé, voici les ambiances scénographiques développées :

• Spatialisation de l’image : « déposer » l’image sur des surfaces de projections complexes, avec un ou plusieurs projecteurs
• Spatialisation sonore : avec un système de 4 hauts parleurs, diriger le son du micro captant la planche à un ou plusieurs hauts parleurs, en fonction d’où la planche est tapée
• Moduler les effets de spatialisation sonore en fonction de la position d’une ou plusieurs parties du corps dans l’espace, par la reconnaissance squelettique.

La liste des divers logiciels avec lesquels l’équipe a expérimenté se trouve plus bas dans cette page.

Sortie de résidence

Les apprentissages de Podorythmie sensible seront mis en valeur dans une installation à la SAT le juillet, de 16h à 19h.

Documentation

Outre le code informatique développé par l’équipe LabScène qui se trouve sur son compte Github, la majeure partie de la documentation du projet s’inscrit en billets de blogues. Le Journal de recherche et création détaille les diverses expérimentations réalisées. La complexité de ces dernières croit avec le temps : au début, on y va dans l’exploration d’une technologie; éventuellement, on se donne le défi d’en croiser plusieurs! D’un autre côté, les billets du Processus réflexif exposent les états d’âme de l’équipe, de même que l’évolution de sa pensée quant aux possibilités émergeant de toutes ces expérimentations.

Logiciels expérimentés

Logiciel	Fonction principale	Nos explorations / utilisations
Splash	Projeter diverses sources vidéo sur des surfaces complexes. Splash organise aussi les flux de projection avec plusieurs projecteurs, tout en évitant les chevauchement et l’inconstance lumineuse que ces chevauchements peuvent causer.	Projeter sans déformation les effets visuels de la planche sur deux murs en même temps qu’une vidéo est projetée sur 2 surfaces d’une boîte
LivePose	Reconnaître le squelette humain par caméra en temps réel. Partager des coordonnées de positionnement des points anatomiques reconnus (plus de 50)	Reconnaître le squelette d’un podorythmiste. Utiliser LivePose pour développer des commandes scénographiques (ex : changer de visualisation) sans interface physique. Utiliser les données partagées par LivePose pour générer des visualisations.
SATIE	Spatialiser le son dans un environnement sonore immersif. En d’autres mots, choisir précisément à quels hauts-parleurs envoyer les sons pour créer des effets sonores de haute résolution (ex. des effets Dopler multi-dimensionnels dans une salle). Requiert un système de son multicanaux.	Tableau démonstratif en développement : la vie dans une planche : Avec un système de 5 hauts-parleurs en carré avec haut-parleur central, Envoyer le son du tapement de la planche au haut-parleur associé au pad de la planche tapée (talon/pointe; gauche/droite)
ShmData	Librairie pour partager des données entre deux logiciels dans un environnement Linux.	Comme Splash requiert un modèle 3d des surfaces de projections, on utilise Blender pour modéliser des surfaces de projections susceptibles d’être déplacées. Ainsi, en bougeant le polygone au bon endroit dans l’espace virtuel Blender, on peut déposer l’image où elle est souhaitée dans le monde physique. On transfert aussi un flux vidéo d’un ordi à un autre avec le protocole vidéo NDI. Ce flux est « attrapé » à l’aide de ShmData et déposé dans un dossier temporaire qu’ensuite Splash utilise pour projeter la vidéo.
Processing	Base et langage de programmation en arts visuels.	Création d’animations visuelles activées par la planche de podorythmie.
OBS	Organiser plusieurs sources vidéo sur une même « caméra virtuelle » envoyée en streaming ou en visioconférence. Plugin NDI : envoyer un flux vidéo par protocole IP.	Envoyer une vidéo par protocole NDI depuis l’ordinateur qui pilote les projections processing vers celui qui pilote les projections avec Splash. (requiert l’installation du plug-in NDI de OBS. Permettre d’intégrer la sortie vidéo de LivePose dans Splash.

Remerciements

Ce projet bénéficie du support du programme de résidence en recherche et développement de la Société des arts technologiques (SAT).

Un grand merci aux organisations suivantes, sans lesquelles Podorythmie sensible ne pourrait exister…