2023
Mon rôle : co-rédacteur
Collaboration !
Avant ce guide, j’avais écrit un mémoire de thèse en Physique et des publications scientifiques dans les années 90… sur la fragilisation du circuit primaire des centrales nucléaires, un mémoire de master en arts plastiques dans les années 2000 sur le Panorama, mass médium du 19° siècle (un modèle pour la Place illusion de Mel Salter)… Bref des écrits pour spécialistes, des écrits en toute solitude.
Mais également des contenus de vulgarisation scientifique pour le Muséum national d’Histoire naturelle. Biodiversité et anthropologie. Du bonheur et un bon apprentissage ;o)
Ce fut donc une joie d’écrire à 6 mains avec ma chère Vanessa Pénélope, alors directrice générale de France Immersive Learning, et son comparse Fabien Grenet de Nospoon.
Subventionné, sans être trop subverti par Meta qui finança le projet, ce fut une belle aventure, bien tendue comme on les aime. Au final, le lecteur sera juge. L’idée était de naviguer entre précision (désolé de ne pas assez être précis) et vulgarisation (désolé de ne pas assez vulgariser), pour parler au plus grand nombre, et en particulier au monde de l’éducation et de la formation dont les acteurs n’étaient, et ne sont pas pour la grande majorité d’entre eux, familiers des technologies immersives, de leur potentiel et des modalités spécifiques qu’elles réclament en situation pédagogique.
Je profite de ce préambule pour rendre à César … aka Nicolas Dupain, sans lequel ni ce guide, ni France Immersive Learning, ni Immersive Learning Lab n’auraient existé.
What’s the plan ?
Ci-après un petit aperçu du plan du guide.
Préambule
> Executive summary
> Édito (Nicolas Dupain, Président fondateur de France Immersive Learning))
> Avant-propos (Daniel D Bryant, Cofondateur d’Educators in VR, Directeur de Collaborative Realities)
Chapitre 1 - Introduction
1.1 – Pourquoi ce livre
1.2 – À qui s’adresse t-il
1.3 – Que vais-je trouver dans ce livre
1.4 – La technologie passe, la transmission reste
Chapitre 2 - L’Immersive Learning : une nouvelle modalité pédagogique
2.1 – Notre définition
2.2 – Les bénéfices
2.3 – Les leviers
2.4 – Vers une pédagogie immersive ?
2.5 – Matériel, logiciels & aménagements
2.6 – Un espace des possibles en devenir
Chapitre 3 - Le fonctionnement des technologies immersives
3.1 – Les 3 types de réalité
3.2 – L’interaction
3.3 – Le sentiment de présence et les 3 illusions
3.4 – Les environnements
3.5 – Les degrés de liberté
3.6 – L’avatar
3.7 – L’effet Proteus
3.8 – L’intégration multisensorielle
Chapitre 4 - 8 idées reçues sur l’Immersive Learning
4.1 – Idée reçue n°1 – Les technologies immersives vont remplacer les formateurs et les enseignants
4.2 – Idée reçue n°2 – Les technologies immersives rendent malades
4.3 – Idée reçue n°3 – Les technologies immersives manquent de maturité
4.4 – Idée reçue n°4 – Les technologies immersives sont trop coûteuses
4.5 – Idée reçue n°5 – Les technologies immersives sont réservées aux jeunes et aux joueurs de jeux vidéo
4.6 – Idée reçue n°6 – Les technologies immersives isolent
4.7 – Idée reçue n°7 – L’Immersive Learning est réservé à certains sujets
4.8 – Idée reçue n°8 – Il faut forcément un casque, tout le monde n’est pas équipé
Chapitre 5 - Panorama des usages et retours d’expérience
5.1 – Introduction : une image vaut mille mots
5.2 – Quelques cas à la loupe
5.3 – Témoignages d’acteurs terrain
Chapitre 6 - 4 étapes pour un projet d’Immersive Learning réussi
6.1 – Étape n°1 : S’acculturer, se documenter et se former
6.2 – Étape 2 : Poser le cadre de son projet
6.3 – Étape 3 : Lancer & conduire le projet
6.4 – Étape 4 : Améliorer en continu
Chapitre 7 - 7 défis pour 2030
7.1 – Défi n°1 : Créer des ressources et outils communs
7.2 – Défi n°2 : Renforcer l’accessibilité et l’inclusion
7.3 – Défi n°3 : Limiter les risques physiologiques et psychologiques
7.4 – Défi n°4 : Définir un cadre de confiance et développer les logiques de souveraineté
7.5 – Défi n°5 : L’impact environnemental
7.6 – Défi n°6 : L’IA générative
7.7 – Défi n°7 : Une filière d’excellence française
Chapitre 8 - Le coin des experts (annexe)
8.1 – Bref historique de l’immersif
8.2 – Le matériel
8.3 – Le software
Chapitre 9
Et maintenant ?
Notre conception de l’immersive interactive learning (concept : Jean Leborgne, Design : Moragane Parma)
Interviews
En marge de la création du guide, nous avons pris le parti d’interviewer 4 professionnels impliqués dans le déploiement des technologies immersives. J’ai pour ma part le plaisir d’interviewer Thierry Koscielniak, alors Directeur national du numérique du Cnam, et Étienne-Armand Amato, chercheur spécialiste de l’avatérisation.
Un grand merci à David Simentov-Levi à l’image et au montage.
Thierry KOSCIELNIAK, alors directeur national du numérique du CNAM, revient sur la genèse de l’utilisation des technologies immersives au CNAM, les expériences développées et leurs bénéfices dans les parcours de formation.
Etienne Armand AMATO, Maître de conférence en science de l’information et de la communication à l’université Gustave Eiffel – Laboratoire DICEN, explore avec nous la notion d’avatar, ses usages dans les domaines de l’éducation et de la formation.
Retour sur quelques définitions
Notre guide entendait préciser ce que sont les technologies immersives : réalité virtuelle, augmentée, mixte… et plus récemment Spatial computing !
En avant première, la nouvelle version du sous-chapitre 3.1 sur ces sujets.
Les technologies immersives (TI) recouvrent :
+ la Réalité Virtuelle (RV ou VR en anglais pour Virtual Reality),
+ la Réalité Augmentée (RA ou AR en anglais pour Augmented Reality),
+ la Réalité Mixte (MR pour Mixed Reality),
Vous entendrez également parler de XR. Pour certains, XR désigne l’Extended Reality, terme ombrelle englobant la VR, l’AR et la MR. Pour d’autres, XR désigne simplement toutes les TI existantes (X = V, A, M) … ou encore à venir.
Historiquement, la classification des TI a notamment été posée en 1994 par les chercheurs Milgram et Kishino qui définirent le continuum réalité-virtualité[1] (cf. figure). D’un côté la réalité (l’utilisateur évolue dans un environnement réel non médiatisé), de l’autre, la réalité virtuelle (l’utilisateur évolue au sein d’un environnement entièrement numérique qui se substitue à l’environnement réel). Entre les deux, le vaste domaine de la réalité mixte qui fusionne réalité et virtualité. Avec la réalité augmentée, on ajoute des éléments virtuels à la réalité tandis qu’avec la virtualité augmentée, concept peu utilisé dans les faits, on intègre des éléments réels à la virtualité.
Depuis cette publication, les acceptions ont changé au gré de la recherche [2] comme du positionnement marketing des constructeurs [3] .Avec la sortie des HoloLens en 2015, Microsoft a préempté le concept de réalité mixte. Avec le lancement du casque Vision Pro d’Apple en 2023, nous serions priés de ne parler que de spatial computing… terme inventé par l’artiste Myron Krueger en 1980 et repris dès 1992 par le chercheur Robert Jacobson [4].
Essayons d’y voir clair.
+ La réalité virtuelle
Sa définition ne pose pas problème : Quasi-réalité pour les uns [5] réalité artificielle pour les autres [6], elle consiste à plonger un utilisateur (ou plusieurs) dans une simulation multisensorielle (visuelle, auditive…) : un monde créé numériquement, tridimensionnel, qui peut être « imaginaire, symbolique ou une simulation de certains aspects du monde réel » [7] avec lequel l’utilisateur peut interagir.
Point important : la réalité virtuelle n’est pas consubstantielle à l’utilisation d’un visiocasque comme nombre de simulateurs l’attestent : un écran peut suffire. Toutefois, dans ce guide, nous concentrons notre attention sur ce type de périphérique.
+ La réalité augmentée et la réalité mixte
S’inspirant du chercheur Ronald Azuma [8], Grégory Maubon propose la définition suivante de la réalité augmentée [9] :
- Combiner le monde réel et des données numériques en temps réel (pas de scène pré-calculée)
- Être interactif en temps réel avec l’utilisateur et avec le monde réel : une modification dans le monde réel (un déplacement, une interaction) entraîne un ajustement de la couche numérique.
- Utiliser un environnement en 3D (parce nous vivons dans un monde en 3D)
Cette définition très laxe fait écho aux propositions de certains chercheurs [10] qui proposent de considérer la réalité augmentée comme un continuum allant de la réalité assistée (la simple superposition d’éléments virtuels sur l’environnement réel) à ce qu’il est convenu dorénavant d’appeler réalité mixte (la fusion avancée des éléments virtuels à l’environnement réel). La grande différence avec la réalité virtuelle et la réalité augmentée : l’environnement de référence est l’environnement réel avec lequel l’utilisateur ne perd pas le contact.
Plus on tend vers la réalité mixte, plus le dispositif utilisé doit comprendre et numériser l’environnement autour de l’utilisateur, à l’aide de caméras, de LIDAR et d’une bonne dose d’intelligence artificielle.
Imaginons que l’utilisateur dispose d’un vase virtuel qu’il veut poser sur une (vraie) table dans son salon, imaginons que les objets virtuels obéissent aux lois de la physique : quand on les lâche, ils tombent. Alors l’application et le dispositif de vision qu’il utilise doivent intégrer la table en tant qu’objet physique – et la reconnaître en tant que table – dans le monde virtuel de sorte que le vase ne traverse pas la table quand l’utilisateur le pose sur celle-ci.
Le point commun à toutes ces “réalités” est de créer une réalité perceptive crédible pour notre cerveau. Dans le cas de la réalité mixte, ceci requiert 3 choses [11] : un alignement spatial précis en 3D entre le réel et le virtuel, une interactivité simultanée avec le réel et le virtuel, et une interactivité bidirectionnelle entre le réel et le virtuel (il est possible d’allumer une “vraie” lampe en appuyant sur un interrupteur virtuel).
La précédente description ne dépend pas des matériels utilisés qui de fait sont de 2 types : Certains sont occultants – l’utilisateur voit l’environnement réel grâce aux 2 caméras haute résolution qui équipent le casque (pass through comme le Meta Quest 3, l’Apple Vision Pro ou le Varjo XR4) – d’autres sont non occultants, comme les lunettes Hololens 2 à travers lesquelles l’utilisateur voit directement l’environnement réel.
Et le spatial computing d’Apple dans tout ça ? Vous l’aurez compris, nous y sommes déjà depuis les années 90.
Quant à la vidéo 360°, elle n’entre dans aucune case : n’offrant pas de spatialité, n’étant pas interactive, elle n’est pas considérée par beaucoup comme étant de la réalité virtuelle. Cependant, il s’agit d’un médium immersif ayant ses propres atouts.
————————————————————
[1] A Taxonomy of Mixed Reality Visual Displays
Paul Milgram,Fumio Kishino
Transactions on Information and Systems vol. E77-D, no. 12(12):1321-1329 December 1994, vol. E77-D, no. 12(12):1321-1329
https://www.researchgate.net/publication/231514051_A_Taxonomy_of_Mixed_Reality_Visual_Displays
[2] Certains auteurs postulent qu’en fait il y a un discontinum, la “réalité virtuelle” n’étant atteinte que par un implant seul capable de produire une réalité perceptive multisensorielle. Revisiting Milgram and Kishino’s Reality-Virtuality continuum . Richard Skarbez, Missie Smith and Mary C. Whitton . Frontiers in virtual reality, 2021
https://www.researchgate.net/publication/350352231_Revisiting_Milgram_and_Kishino’s_Reality-Virtuality_Continuum
[3] https://venturebeat.com/ai/the-language-wars-of-2024-apple-vs-reality/
https://medium.com/predict/mixed-reality-or-spatial-computing-346e62148026
[4] https://www.matthewball.co/all/metaversespatialandmore
https://avibarzeev.medium.com/what-is-spatial-computing-48d5da22b09d
[5] Terme proposé par Myron Kruger, artiste et créateur de « vidéo place », un laboratoire de réalité artificielle (https://www.jstor.org/stable/1578043) et repris par Jaron Lanier en 1989
[6] Philippe Fuchs, Théorie de la réalité virtuelle, 2018
[7] Philippe Fuchs, Théorie de la réalité virtuelle, 2018
[8] https://www.cs.unc.edu/~azuma/ARpresence.pdf
[9] https://www.augmented-reality.fr/cest-quoi-la-realite-augmentee
[10] Computers in Human Behavior, Volume 133, August 2022, 107289
What is XR? Towards a Framework for Augmented and Virtual Reality
Philipp A. Rauschnabel, Reto Felix, Chris Hinsch, Hamza Shahab, Florian Alt
https://www.sciencedirect.com/science/article/pii/S074756322200111X
[11] https://www.meta.com/fr-fr/blog/quest/mixed-reality-definition-passthrough-scene-understanding-spatial-anchors/