Rencontre
de la Musique
et de l'image

Comment composer à 360 degrés pour la VR ?

La réalité virtuelle (ou VR) est la plus récente des formes d’art audiovisuel. Quelle place accorde-t-elle à la musique ? Comment la valorise-t-elle ? Entre fantasmes de créateurs et contraintes de production, retour sur la place de la BO dans ces films à 360 degrés.

Musique et réalité virtuelle étaient vouées à parfaitement s’accorder. La VR, nouveau support adopté définitivement par les artistes depuis 2013, permet une immersion totale dans l’œuvre visionnée : le spectateur est au centre du récit, au sens littéral du terme. Une donnée essentielle pour y comprendre la place du sound design et de la musique qui, dès les premières secondes du récit, deviennent des protagonistes essentiels de l’histoire, des éléments clés de la grammaire narrative.

Un écrin naturel pour le son

En 2020, plusieurs musiciens ont créé l’événement en virtuel : du DJ set de Jean-Michel Jarre dans VRChat au concert de Travis Scott sur Fortnite, la musique est partout et intéresse plusieurs centaines de milliers, voire plusieurs millions de spectateurs, selon les plateformes. Si le design visuel est primordial pour embarquer le spectateur dans une création immersive, le son l’implique dans la narration. A l’instar de ce qu’il produit au cinéma, il peut faire ou défaire ce qui est raconté. Si la réalité virtuelle apprend encore des possibilités inhérentes à ses supports (interactif ou non, 6DOF…), la place de la musique et du son dans chacun des projets est cruciale.

Pour le compositeur Cyrille Marchesseau (Gloomy Eyes, Paper Birds), la musique a une narration propre sur tous les supports et la réalité virtuelle démultiplie les possibilités. C’est au compositeur d’équilibrer son travail entre l’émotion directe et l’immersion, l’environnement. Deux variables déjà prises en compte dans le design visuel et essentielles à intégrer pour la conception du son. Sur Paper birds, l’enjeu principal était par exemple de mettre en avant la musique, même dans des séquences où le sound design était réduit au minimum. “J’espère que Paper birds suscitera des vocations : il faut que les compositeurs de musique de films comprennent tout le potentiel de la réalité virtuelle” explique le compositeur.

L’art et la manière

Si la réalité virtuelle (et des industries XR : réalité augmentée, mixte…) a dû inventer ses propres outils narratifs, ses caméras ou encore ses casques, elle n’est encore pas un secteur particulièrement innovant, côté son. Certes, il faut envisager la création à 360 degrés, les mix finaux en binaural (lorsque le son est spatialisé à 360 degrés), mais l’ensemble des technologies utilisées existaient auparavant. Pour écouter du son à 360 degrés, un simple casque grand public suffit. Visionner des vidéos binaurales sur Youtube est ainsi très courant. Les processus de production restent identiques à un film “flat”, en 2D. De quoi expliquer que des compositeurs aguerris du cinéma ou de l’audiovisuel soient appelés à collaborer avec les auteurs VR : leur expérience peut aider à concevoir un environnement sonore et musical particulièrement pertinent. Cyrille Marchesseau a ainsi travaillé avec des studios argentins ou américains sur des projets parmi les plus plébiscités ces dernières années. De l’écriture des morceaux dans son studio sur la côte Atlantique aux réunions internationales en ligne en passant par l’enregistrement et le mix, rien ne change radicalement par rapport à la composition d’une BO pour le cinéma ou une commande plus institutionnelle. Seule vraie différence : les rencontres certainement, et la magie d’une industrie jeune et très dynamique, courtisée par les événements internationaux (Venise, Tribeca, Sundance…). Un secteur créatif de niche où l’expérimentation concerne davantage l’artistique que la technique. Pour Paper birds, conte musical produit par 3Dar (Argentine) et Baobab Studios (USA) dans lequel le héros se nourrit de musique, l’apport de Cyrille au projet aura ainsi été crucial.

Si là n’est pas l’essentiel, un critère technique entre néanmoins en ligne de compte : les casques ne sont pas optimisés côté son. Les derniers modèles laissent entrevoir des performances améliorées mais le constat est sans appel : leur qualité n’est pas encore optimale pour respecter les œuvres musicales créées. Mais, avec la montée en puissance des concerts 360, des événements live sur les plateformes virtuelles, il y a fort à parier qu’il s’agira là d’un levier d’amélioration rapide de l’industrie.

Sur son film Out There (lien), la première comédie musicale en réalité augmentée, l’auteur et producteur Thibault Mathieu (Wilkins Avenue) a poussé les curseurs existants au maximum pour s’adapter à l’expérience. Le son spatialisé (binaural) est ainsi devenu un son “différencié”, autrement dit un son permettant au spectateur d’influencer le sound design, selon les objets ou positions dans l’espace. Le mix musical évolue alors pour chacun, se personnalisant à souhait.

La juste place des compositeurs

A ce jour, les compositeurs et studios sonores sont encore souvent les derniers à être intégrés aux projets VR. A l’exception de quelques projets purement musicaux, la VR diffère donc assez peu des autres secteurs dans l’approche collaborative avec les musiciens. “L’image initie toujours un projet” pour Cyrille Marchesseau. Pour des questions de temps et de budget, la VR tâtonne encore, notamment côté musique. Pour Thibault Mathieu, il s’agit pourtant là d’un point essentiel : pour être réellement immersive, la réalité virtuelle doit se différencier de ses aînés, et inclure la musique, la conception du son, comme des facteurs-clés dès l’amorce du projet. Dès le début de la production d’Out there, l’auteur confiait la production musicale aux Américains de Pollen Music Group, qui avaient déjà officié sur de nombreux titres immersifs dont Pearl pour Google Spotlight Stories ou le court métrage Duet de Glen Keane. Rachel Garlin, elle, signait et interprétait le morceau principal Out there, une musique folk servant d’axe narratif.

Le live : l’avenir de la musique VR ?

La VR aujourd’hui démocratisée, sa musique se joue elle aussi sur d’autres territoires, à l’instar de partitions de jeux vidéo ou de cinéma qui aujourd’hui sont reprises en concerts symphoniques. Si elles ont été freinées par la crise de la Covid-19, les expériences “location-based”, dans des lieux ou salles équipés, se multiplient et semblent promises à un bel avenir. 

Actuellement occupé par plusieurs projets, cherchant à créer toujours plus de lien entre  l’image et le son et l’écoute des actions, Cyrille Marchesseau conclut : “Et si, finalement, l’évolution de la musique pour la VR se faisait par l’interaction avec les spectateurs ?”

Par Mathieu Gayet

Photo de couverture :
© Wilkins Avenue

Partager cet article

inscrivez-vous à notre newsletter

Suivez notre actualité, bla bla