Intentions
Mapper silmutannément la projection de:
- DrawPlanck sur un cube
- La sortie vidéo LivePose sur un des cube et DrawPlanck à l’écran principal (le coin)
Installation des outils et équipement
- Installation de Splash, LivePose et Processing sur un ordinateur fourni par la SAT (linux Pop!)
- Projecteur au installé au plafond
- DrawPlanck sur ordinateur externe ordinateur (macOS)
- Planche de podorythmie (4) connecté par usb à mon ordinateur
- Connection ethernet entre mon ordinateur et un modem de la SAT
- caméra : intel realsense d435i
Logiciels
- Processing (linux/mac)
- Splash (linux)
- LivePose (linux)
- OBS avec plugin NDI (linux/mac)
- Blender (linux/mac)
- Shmdata (linux)
Réglages
LivePose
- loader à l’environment virtuel python de LivePose avec la commande ‘livepose\_venv/bin/activate’ ou ‘source livepose\_venv/bin/activate’
- configurer le programme avec la bonne entrée caméra dans le fichier config. (normalement video4) ‘nano livepose/configs/mmpose.json’
- streamer l’image générée avec OBS (créer un vidéo virtuelle avec le bouton)
Processing
- rouler DrawPlanck sur l’ordinateur externer
- envoyer l’image par ethernet via le plugin NDI dans OBS
Splash
- Si un dossier de configuration existe, accéder au repertoire de configuration dans l’ordinateur qui fait rouler Splash
- identifier le signal provenant de OBS par ethernet (‘ndi2shmdata -L‘)
- Copier le nom de source d’arrivée (e.g., MACBOOK-PRO-DE-MAC.LOCAL (OBS processing))
- mettre le flux video dans un fichier temporaire avec la commande suivante: ndi2shmdata -n ‘MACBOOK-PRO-DE-MAC.LOCAL (OBS processing)’ -v /tmp/ndi\_video (remplacer ‘MACBOOK-PRO-DE-MAC.LOCAL (OBS processing)‘ par le nom trouvé préalablement)
- Ouvrir splash : ‘splash‘ si une configuration d’existe pas. Sinon ‘ splash -o /home/metalab/Documents/Podorythmie/splash.json’ ( podo.splash.project est le fichier du projet dans ce cas)
- Pour modifier le mapping, ouvrir blender et associer le bon fichier dans splash afin de modéliser l’espace en temps réel.
* Splash info for media:
* media 1: shmdata -> /tmp/ndi\_video (2nd parameter)
* media 2: video4Linux -> /dev/video6 (change the device accordingly) -> click « do capture »
- ouvrir blender et associer un fichier obj pour chaque surface
- mapper les deux surfaces avec blender
Problèmes rencontrés
- difficile de savoir quelle caméra est l’entrée de données pour LivePose (se trouve par essaie erreur dans le dossier config.json de live pose). Ceci est causé par les nombreuses caméras virtuelles créés par OBS.
- L’ordinateur ne reconnaissait pas l’entrée NDI provenant de l’ordinateur par le nom « Obs processing ». Nous avons passé un peu de temps à trouver quel était le problème avant de réaliser que c’était le nom du signal qu’on avait mal identifiés. Il faut copier le nom entier tel que présenté suite à la commande ‘ndi2shmdata -L’
Analyse et constats
Dans la journée, nous avons réussi à projeter à la fois livePose et DrawPlanck (connecté à la planche 4). Dans le but de rouler le système entièrement sur un ordinateur, demander à l’équipe de développer un plugin shmdata qui enverrait les données de LivePose à Splash directement (comme il nous déja entre blender et Splash).
Potentialités
te à ce premier essaie de combinaisons de donn.es, nous aurons à réfléchir aux contexts dans lesquels nous pouvons faire usage ainsi que l’équipement nécéssaire pour y parvenir.
D’une part, j’envisage l’installation de linux sur un de nos ordinateurs afin de rendre notre système autonome et mobile.
