Podorythmie sensible

Représentation artistique complexe de la podorythmie en musique traditionnelle québécoise

Podorythmie sensible est un espace de recherche et de développement pour la créativité autour de la podorythmie* en musique traditionnelle québécoise. Ce chantier s’articule dans la rencontre de deux projets LabScène, soit la création du 5e prototype de planche de podorythmie et une résidence au Métalab de la Société des Arts technologiques (la SAT) à laquelle l’équipe LabScène participe. La planche est en pleine construction et devrait être dévoilée à la mi-avril 2022; la résidence est en cours et se déroulera jusqu’à la fin juillet 2022.

L’intention globale de Podorythmie sensible est d’explorer et de documenter diverses façon de produire des rendus artistiques visuels et sonores en lien avec la podorythmie. Sans souhaiter explorer toutes les façons possibles de représenter la podorythmie, l’exploration s’articule principalement autour des technologies d’innovation ouverte. LabScène développe ses objets et codes scénographiques en objets et logiciels libres, la SAT aussi… la table est mise.

Ainsi, en plus d’inspirer la démarche créative de LabScène, il est souhaité que Podorythmie sensible soit une occasion pour d’autres artistes de découvrir, comprendre et bien sûr de s’approprier diverses façon d’embellir une scénographie.

*La podorythmie est l’accompagnement rythmique des pieds que certains musicien.nes de tradition québécoise font en jouant d’un instrument. Les pieds sont alors un instrument percussif quadruple (2 * pointe+talon).

La démarche globale

Quatre prototypes de planches de podorythmie multimédia ont déjà été réalisés. Le cinquième sera fabriqué de novembre à mars. Ces planches sont des instruments Midi donnant par une note l’information d’où la planche a été tapée (pied gauche ou droit, pointe ou talon) et avec quelle vélocité. Ce signal est interprété dans Processing, dans des modes visuels d’ambiances contemplatives ou des applications ludiques, créés pour démontrer diverses utilisations possibles de signaux podorythmiques.

La preuve de concept étant réalisée, l’équipe LabScène/Le violon de Jos souhaite maintenant pousser l’esprit performatif et artistique de la podorythmie multimédia au niveau supérieur. Avec la prochaine planche qui produira des nouveaux signaux, l’équipe souhaite développer une expérience immersive qui intégrera ces signaux à des flux de données provenant d’autres sources (reconnaissance squelettique, captation sonore, plusieurs planches), pour pouvoir projeter les effets visuels de diverses façons (environnement 3d, mapping vidéo…)

Les apprentissages de Podorythmie sensible seront mis en valeur dans une performance in-situ à la SAT à la fin juillet. Divers billets de blogues raconteront soit l’histoire un présenteront le journal de résidence à la SAT. De plus, une capsule explicative de la démarche, de même qu’un vidéoclip musical démontrant le travail accompli seront produites.

Logiciels expérimentés

Logiciel	Fonction principale	Nos explorations / utilisations
Splash	Projeter diverses sources vidéo sur des surfaces complexes. Splash organise aussi les flux de projection avec plusieurs projecteurs, tout en évitant les chevauchement et l’inconstance lumineuse que ces chevauchements peuvent causer.	Projeter sans déformation les effets visuels de la planche sur deux murs en même temps qu’une vidéo est projetée sur 2 surfaces d’une boîte
LivePose	Reconnaître le squelette humain par caméra en temps réel. Partager des coordonnées de positionnement des points anatomiques reconnus (plus de 50)	Reconnaître le squelette d’un podorythmiste. Utiliser LivePose pour développer des commandes scénographiques (ex : changer de visualisation) sans interface physique. Utiliser les données partagées par LivePose pour générer des visualisations.
SATIE	Spatialiser le son dans un environnement sonore immersif. En d’autres mots, choisir précisément à quels hauts-parleurs envoyer les sons pour créer des effets sonores de haute résolution (ex. des effets Dopler multi-dimensionnels dans une salle). Requiert un système de son multicanaux.	Tableau démonstratif en développement : la vie dans une planche : Avec un système de 5 hauts-parleurs en carré avec haut-parleur central, Envoyer le son du tapement de la planche au haut-parleur associé au pad de la planche tapée (talon/pointe; gauche/droite)
ShmData	Librairie pour partager des données entre deux logiciels dans un environnement Linux.	Comme Splash requiert un modèle 3d des surfaces de projections, on utilise Blender pour modéliser des surfaces de projections susceptibles d’être déplacées. Ainsi, en bougeant le polygone au bon endroit dans l’espace virtuel Blender, on peut déposer l’image où elle est souhaitée dans le monde physique. On transfert aussi un flux vidéo d’un ordi à un autre avec le protocole vidéo NDI. Ce flux est « attrapé » à l’aide de ShmData et déposé dans un dossier temporaire qu’ensuite Splash utilise pour projeter la vidéo.
Processing	Base et langage de programmation en arts visuels.	Création d’animations visuelles activées par la planche de podorythmie.
OBS	Organiser plusieurs sources vidéo sur une même « caméra virtuelle » envoyée en streaming ou en visioconférence. Plugin NDI : envoyer un flux vidéo par protocole IP.	Envoyer une vidéo par protocole NDI depuis l’ordinateur qui pilote les projections processing vers celui qui pilote les projections avec Splash. (requiert l’installation du plug-in NDI de OBS. Permettre d’intégrer la sortie vidéo de LivePose dans Splash.

Remerciements

Ce projet bénéficie du support du programme de résidence en recherche et développement de la Société des arts technologiques (SAT).

Un grand merci aux organisations suivantes, sans lesquelles Podorythmie sensible ne pourrait exister…