EXPLORER L’INTERACTION HOMME-MACHINE, FRANCHIR ET INTÉGRER LES LIMITES
“Qui sont les robots ? Vous, devant l’écran, êtes invité(e) à repérer les robots au sein de la foule pour sauver l’humanité. Commencez l’action en utilisant vos mains.”
Mon projet de recherche-création intègre des éléments d’art interactif, de design, d’art du spectacle, de jeux vidéo et de science-fiction, combinant ainsi différentes disciplines. Il soulève des questions et les explore de manière ludique. Cette installation tente de présenter un concept complexe à l’aide d’une technologie existante, de faire apparaître des humains réels et virtuels dans un même espace où la frontière entre le virtuel et le réel est floue, et de réfléchir au problème de l’espace de vie auquel les êtres humains pourraient être confrontés à l’avenir.
L’ESTHÉTIQUE ET CITATION VISUELLE DES DISPOSITIFS INTERACTIFS ET DU CONTENU VIDÉO
L’esthétique de l’espace est créée par l’effet de superposition des vidéos : le spectateur participant entre dans trois superpositions spatiales différentes créées par les trois personnages différents de son choix, ainsi que par son environnement en temps réel. Ainsi, à chaque séquence, quatre vidéos sont présentées simultanément sur l’écran, créant une nouvelle perspective en réduisant la transparence et en faisant en sorte que les espaces s’imbriquent les uns dans les autres.
“The space-building role of superposition in Chinese landscape painting is well known. The relative location of mountain peaks or clouds is established visually by overlaps, and the volume of a mountain is often conceived as a skeleton of echelons or slices in staggered formation. The complex curvature of the solid is thus obtained through a kind of “integral” based on the summation of frontal planes.”[1]
L’effet de surimpression joue un rôle dans l’augmentation de la dimension visuelle, qui est utilisée dans les peintures de paysage chinoises traditionnelles pour créer une sensation spatiale sur un plan à deux dimensions. J’utilise la superposition transparente dans la vidéo pour essayer de transformer la vidéo plate, qui a déjà un élément spatial et temporel, en un espace visuel plus multidimensionnel.
Photo de l’exposition prise par Hong QU
Il s’agit de la première interface de l’installation interactive, à partir de laquelle on peut voir une vidéo en direct de l’environnement réel et la silhouette du spectateur devant l’écran. Lorsque le spectateur apparaît dans la vidéo, sa main droite est capturée par la Kinect et il peut dessiner des lignes sur la projection avec sa main droite, les lignes allant dans la même direction que le mouvement de sa main. Une image fixe d’un personnage de film flotte sur la vidéo en direct et, chaque fois que la ligne tracée par la main droite du spectateur relie les trois personnages, l’écran passe à une autre interface pendant environ 30 secondes, puis la première interface revient. Dans cette nouvelle interface vidéo apparaissent les images des trois personnages sélectionnés, l’espace en direct du spectateur et trois autres scènes de l’espace public urbain, superposées en changeant la transparence, présentant un nouvel espace sous la forme d’une vidéo moins fluide ou d’une photographie à lecture rapide.
“Citation Visuelle de film character existé” est un collage numérique de captures d’écran de personnages provenant des archives d’un réalisateur connu, dans le but de stimuler les souvenirs communs des spectateurs. Les différents personnages présentés à l’écran sont issus des films de Stanley Kubrick. L’inspiration pour le choix des trois options provient du film Paths of Glory : dans ce film, le général sélectionne au hasard trois personnes dans l‘armée pour remplacer toute l’armée et recevoir une punition. Pour sélectionner les prototypes de personnages, je choisis les scènes des films où ils apparaissent en entier. J’utilise un collage numérique pour le mettre sur une page. Ces personnages appartiennent à des époques, des intrigues, des actions et des histoires différentes. Mon histoire se déroule dans le futur. Ces personnages qui sont entrés dans les archives existeront aussi dans l’avenir, leurs histoires continueront, mais pas selon mon point de vue : lorsque le public fait son choix, il obtient un résultat inconnu et interactif.
L’ART INTERACTIF ET CINÉMA INTERACTIF
On peut observer des exemples de cinéma interactif lors de conférences internationales sur la narration interactive (interractive storytelling). Ces exemples démontrent comment les spectateurs interagissent avec l’intrigue du film en utilisant leur téléphone portable, influençant ainsi le développement de l’histoire. Cela permet à l’intrigue de progresser de manière unique en raison des choix différents des spectateurs, offrant ainsi une expérience cinématographique singulière.
The interaction device is provided by the mobile phones of the audience: viewers may use an app which simulates a social network used by the movie characters. The engagement of the audience will interfere with the unfolding of the story.[2]
Dans mon projet, j’utilise une méthode intégrée qui combine les mouvements des mains, les images en mouvement, l’image du spectateur lui-même, ainsi que les personnages de film et l’intrigue d’un documentaire pour obtenir une nouvelle expérience artistique.
La particularité de l’expérience esthétique serait alors de retrouver une ingénuité, pré-expérimentale, et une finalité maîtrisée. En d’autres termes l’expérience artistique vise à retrouver un mode de réalisation, en deçà de toute connaissance, qui ne considèrerait plus le monde que comme un ensemble de motifs, dépassés dans et par l’anticipation.[3]
Offrir au public une tentative d’entrer dans un nouveau monde, établir un espace esthétique basé sur la réalité mais qui la transcende.
LA NARRATION NON LINÉAIRE, LA DOCUFICTION ET LA PRATIQUE DE LA RÉALITÉ AUGMENTÉE
Dans ma démarche, les spectateurs ont le choix entre trois options pour accéder à différentes vidéos, créant ainsi une narration non linéaire et arborescente.
Une analyse des possibles à la recherche d’une infinité de possibilités.
Selon que le spectateur choisit trois personnages différents parmi les 12 personnages possibles, il y a beaucoup de résultats différents, actuellement 12 personnages mais si le nombre de base augmente, la possibilité de résultats différents augmente, atteignant théoriquement un nombre infini de possibilités, et tout comme chaque personne est différente, de même ce dispositif peut donner des résultats infiniment différents.
Dans ce processus continu de choix et d’entrées, à chaque fois, il semble que les spectateurs pénètrent dans un monde différent, explorant différentes parties mixtes des espaces publics et personnages. Lorsque les gens voient leur propre image virtuelle aux côtés de personnages virtuels apparaissant dans le même environnement vidéo, ils peuvent également ressentir une sorte d’intersection et de collision entre le monde virtuel et le monde réel.
Chaque personnage de film est présent dans une séquence vidéo. Ces vidéos sont capturées dans les espaces publics que je traverse quotidiennement, comprenant de nombreuses rues de Paris, puis des zones côtières au nord et des ponts en Belgique. Elles représentent des scènes réelles qui ont existé dans ma perception et ont été enregistrées.
APPLICATION DE LA RECONNAISSANCE DES MOUVEMENTS DES MAINS DANS L’INTERACTION HOMME-MACHINE
J’essaie d’identifier les mouvements des mains des spectateurs à travers des points différents dans l’interface. Derrière chaque position de personnage se trouve une zone tactile, préalablement définie de telle sorte que chaque fois que la main du spectateur traverse trois zones tactiles, cela déclenche le passage à la vidéo suivante. Cette méthode de configuration permet d’obtenir avec précision une trajectoire de mouvement. Lorsque nous essayons de toucher différents personnages, cela entraîne des mouvements différents.
Hand gestures in particular are difficult to detect if the camera has limited resolution and if it is not focused on the hands, a condition difficult to respect in real-world applications.[4]
J’utilise Kinect, un dispositif conçu pour l’interaction de jeux, et je redéfinis son mode d’utilisation. Au cours de ce processus, j’ai rencontré quelques problèmes. Bien que cela puisse offrir un mode d’interaction très panoramique, il ne peut reconnaître qu’une seule main à chaque fois, dans la plage de capture de la caméra. Si plusieurs personnes entrent simultanément dans la zone de détection, cela entraîne un état de confusion où la reconnaissance correcte devient difficile.
EXPLORATION DES SPECTATEURS, DES PARTICIPANTS ET DES SERVICES ARTISTIQUES
Lorsque le spectateur apparaît, sa fonction semble alors être pleinement réalisée. Ainsi, apparaît la perspective du spectateur en tant que participant, et de l’art en tant que service. L’art interactif tente de fournir une expérience entièrement nouvelle aux spectateurs, modifiant ainsi leur perspective au cours de cette expérience. C’est un peu comme entrer dans un cercle et en ressortir, une partie de vous change.
Au final, concernant la question du spectateur face à l’art interactif, on est en mesure de se demander si la complexification des processus mis en œuvre ne renforce pas l’activité du spectateur, non plus face à l’œuvre puisqu’il n’en est plus spectateur, mais face à l’art. Les démarches très élaborées dans lesquelles interviennent plusieurs acteurs constituent une forme d’art aussi riche qu’exigeant envers le public, les spectateurs et les artistes – ceux-ci devant à la fois s’assurer que leur dispositif fonctionne en tant qu’œuvre et expérience appelant des participants, et en tant qu’art soumis au regard critique des spectateurs.[5]
Dans la perspective de l’art interactif, le spectateur ne se limite plus à regarder, mais participe à l’œuvre, comme s’il voyait sa propre image dans l’œuvre ou était capable d’influencer le développement de l’intrigue de l’œuvre, transcendant l’identité du spectateur d’une manière active ou passive. Il peut y avoir des problèmes de public, comme des publics de niche qui sont réceptifs à quelque chose de différent ou quelque chose de ce genre.
Dans le cours 3IA Immersive Improvisation in Interactive Arts, j’ai participé à l’exposition du Festival d’art numérique à LAVAL avec mes camarades et professeurs de Art Technologie de Image de l’Université Paris VIII. J’ai combiné le projet de site Web （https://la.bonnebulle.xyz/hong_qu/）pour prolonger un dispositif interactif combinant vidéo virtuelle et environnement réel, qui permet au public d’obtenir une expérience interactive immersive par l’effet de la réalité augmentée.
Photo de l’exposition prise par Hong QU
Cette image montre mon image apparaissant dans une vidéo en direct, la figure à droite est moi, faisant la même action que le personnage virtuel. L’état idéal de mon dispositif serait que mon ombre interagisse avec l’avatar à l’intérieur de la vidéo après y être entrée, en d’autres termes, qu’elle donne à l’avatar un contact. Par exemple, « Le cercle invisible » :
De l’autre : un environnement que nous définissons comme environnement-monde, un environnement totalement immersif, dont les éléments dans l’espace produisent un « monde réaliste », et où les événements dans le temps composent les lignes d’une fiction, d’une narration.[6]
Les images des personnages sont réparties sur l’écran, et trois d’entre elles sont sélectionnées en fonction des différents mouvements corporels du public. De cette façon, le public peut entrer dans le même espace visuel avec le personnage virtuel pour une éventuelle interaction.
Photo de l’exposition prise par Hong QU
Dans cette scène, j’apparais dans le cadre en même temps qu’une partie du public, exactement à la même échelle que la figure virtuelle du milieu, comme si nous étions tous entrés dans un autre temps et un autre espace au même moment.
Les scènes forment un environnement immersif « surréaliste », basées sur des scènes réelles, mais créant un sentiment de virtualité en supprimant l’opacité et en mélangeant les pixels. Certains personnages qui ne sont pas de la même époque que nous ou qui n’existent plus, entrent dans la même image avec nous du fait de notre libre choix, et nous retrouvons l’expérience d’une existence commune. De mes débuts personnels à la mémoire commune de l’humanité, la part de réalité et de virtualité perdurera jusqu’en 2055. Comme une prédiction de McKinsey,
Our scenarios suggest that half of today’s work activities could be automated by 2055, but this could happen up to 20 years earlier or later depending on the various factors, in addition to other wider economic conditions. [7]
La moitié des personnes travaillant dans le monde seraient probablement des robots, de sorte que l’intrigue de l’histoire tourne autour de la question de savoir qui sont les robots. Il y a des avantages et des inconvénients à ce que l’automatisation remplace les emplois des gens. L’époque et la technologie ont remplacé le travail répétitif et utilisé des machines pour augmenter la productivité, l’avantage étant que les gens peuvent avoir plus de temps libre pour faire des choses plus importantes. L’inconvénient est qu’elle peut entraîner une augmentation du chômage, car il faut beaucoup de temps à la société pour convertir ces personnes et ces emplois, ce qui peut provoquer un certain degré de panique et d’inquiétude. Bien sûr, l’intrigue de mon installation artistique exprime cette préoccupation dans une certaine mesure, puisqu’il est question que les humains découvrent qui sont les robots.
Durant cette expérience, une grande partie du public a exprimé ses impressions sur l’installation et formulé des commentaires variés, incluant des ressentis liés au théâtre, à la danse, aux souvenirs et aux rêves. Des réactions particulièrement marquantes ont été observées chez certains individus, manifestant une forte réactivité envers l’acteur nu à l’écran, ou tentant d’étreindre l’actrice dans la vidéo après leur entrée. Notamment, l’un des points saillants réside dans le fait que, pour les personnes isolées, l’appareil atténue leur solitude. Par exemple, en situation d’isolement, l’écran crée l’illusion d’une présence nombreuse. L’objectif principal de ce type de jeux est de procurer une sensation de liberté dans la création d’un environnement vidéo.
De nombreux spectateurs se contentent de passer rapidement ou laissent quelques croquis sur l’écran sans pour autant accéder à la vidéo suivante. Certains réagissent initialement en demandant s’il s’agit d’un enregistrement vidéo, bien que l’installation ne comporte aucune opération d’enregistrement vidéo ou audio, à l’exception de quelques enregistrements que j’ai réalisés moi-même avec un appareil photo. C’est une question qui m’a été posée par une étudiante chinoise qui pensait peut-être qu’il y avait une autre utilisation possible.
Un participant a suggéré l’application de ce dispositif dans les vidéoconférences, créant ainsi une expérience immersive de visioconférence panoramique où chaque personne se trouve dans le même environnement. Il serait possible de toucher l’image d’une autre personne dans la vidéo, bien que cette interaction n’offre pas de sensation tactile réelle, visuellement, il semble qu’on puisse toucher une autre personne. Cela renforcerait l’intensité de l’expérience interactive.
En tant qu’installation artistique interactive qui nécessite la participation du public, les réactions des spectateurs sont une part importante de l’œuvre. C’est un peu comme un produit nécessitant l’achat et l’utilisation des clients, ou toute œuvre et en particulier un film qui a besoin du public pour donner un sens à sa création. L’industrie des produits et les films sont des domaines de création industrielle bien établis. Alors, comment les artistes peuvent-ils survivre dans une ère où la recherche de la liberté artistique coexiste avec l’impact massif de l’ère de la reproduction mécanique et des IA? C’est là qu’apparaît le concept d’artiste-entrepreneur, à l’instar de la série “produits” (https://abramoviclongevity.com/products/ ) de Marina Abramovic, il s’agit en fait de posséder une propriété intellectuelle personnelle. Contrairement aux produits et aux films, l’art interactif ne peut pas être vendu de la même manière. Même lors de l’exposition, en plus d’afficher des instructions spécifiques sur place, la meilleure situation est d’avoir quelqu’un pour expliquer, à travers des expositions dans différents endroits, afin d’atteindre les utilisateurs. Bien sûr, dans le domaine du design, il existe le concept de design de service, qui vise à améliorer la qualité globale du produit en concevant l’expérience au sein du système de services. Il existe également un autre concept de conception interactive, axé principalement sur l’utilisation de différents outils numériques pour concevoir l’expérience interactive dans les objets fabriqués par l’humain. Ces concepts ne sont pas cependant en contradiction. Dans mon projet, j’explore une pratique et une théorie intégrées en essayant de fusionner les idées de l’art, du design, du cinéma, des jeux, de la science-fiction et des robots.
[1] Arnheim, Rudolf. Art and Visual Perception ; a Psychology of the Creative Eye. University of California Press, 1974. p.251.
[2] Mitchell, Alex, and Mirjam Vosmeer. Interactive Storytelling: 14th International Conference on Interactive Digital Storytelling, ICIDS 2021, Tallinn, Estonia, December 7-10, 2021, Proceedings. 1st Edition 2021. Vol. 13138. Netherlands: Springer Nature, 2021. Print.p.29.
[3] Ucciani, Louis. “Qu’est-Ce Qu’une Expérience Artistique ?” Philosophique 13 (2010): 93–103. Web.p.102.
[4] Miguel Simao. Segmentation et reconaissance des gestes pour l’interaction homme-robot cognitive. Mécanique des matériaux [physics.class-ph]. Ecole nationale supérieure d’arts et métiers – ENSAM; Universidade de Coimbra, 2018. Français. ⟨NNT : 2018ENAM0048⟩. ⟨tel-02077066⟩
[5] Benjamin Riado, Trentini Bruno. Le spectateur face à l’art interactif. Proteus-Cahiers des théories de l’art, 6, 2013, Le spectateur face à l’art interactif, ISSN 2110-557X. ⟨hal-03158522⟩
[6] Quinz Emanuele, Le cercle invisible. Environnements, systèmes, dispositifs, Dijon, Les presses du réel, 2017,p.109
[7]https://www.mckinsey.com/~/media/mckinsey/featured%20insights/Digital%20Disruption/Harnessing%20automation%20for%20a%20future%20that%20works/MGI-A-future-that-works_In-brief.ashx