Introduction

Cette année, votre entreprise a réussi l’impossible : elle a mis à disposition une loge VIP à tous les collaborateurs pour la compétition de l’Euro 2024.

💭 Projetez-vous le soir de la finale : vous êtes invités avec toute votre équipe et votre N+2 à y assister. Vous le savez assez fan de foot. D’ailleurs, vos collègues vous ont supplié de réviser votre foot knowledge : après tout, il y a une enveloppe de budget à débloquer ! Pas de chance, la France ne joue pas ce soir et vous ne connaissiez que MBappé.

Vous arrivez le coeur serré. Vous savez qu’une question aiguisée suffira à vous démasquer. En vous installant, vous repérez le téléphone de votre voisin, qui semble filmer le terrain. Il a une app ouverte. Sur son écran, vous voyez le terrain de foot, mais aussi des infos au dessus des joueurs. À l’aide de la réalité augmentée, l’app reconnaît les joueurs sur le terrain et affiche leurs statistiques, décrypte le match et vous propose plein de fun foot facts en live : vous pouvez briller en société en toute tranquillité !  (FIFA+ ©)

Réalité augmentée ou virtuelle : définitions et cas d’usage

La réalité augmentée est une technologie qui enrichit notre perception du monde réel en y superposant des éléments virtuels tandis que la réalité virtuelle nous transporte dans un autre monde. Lorsque vous enfilez un casque de réalité virtuelle, votre environnement réel disparaît pour laisser place à un univers entièrement numérique, où vous pouvez regarder autour de vous, et parfois même vous déplacer et interagir avec ce monde fictif.

La réalité étendue ou réalité mixte est un terme parapluie qui englobe à la fois la réalité augmentée, la réalité virtuelle et tout ce qui se trouve entre les deux.

On retrouve désormais les 3 concepts dans les applications mobiles, sur les sites web mais aussi et surtout grâce aux casques de réalité virtuelle, donc les plus connus à ce jour sont l’Oculus Quest de Meta et le Vision Pro d’Apple.

L’avis du Bam Innovation Lab : quelques use cases qui ont retenu notre attention

• Une application B2B de la Réalité Augmentée : DHL expérimente depuis cette année avec la Réalité Augmentée dans ses entrepôts. L’objectif est de fluidifier l’expérience de ses salariés dans les immenses espaces de stockage, en réduisant notamment le temps passé à chercher des items. Leur solution consiste à afficher de manière dynamique dans l’entrepôt, grâce à des lunettes connectées, un itinéraire optimisé et le guidage associé jusqu’aux produits recherchés, afficher les noms des produits ou leur identifiant dans les rayons, la position idéale dans le chariot de transport pour décharger…Résultat : un gain de 25% de productivité sur les tâches de préparation.

• Les cas d’application de la Réalité Augmentée dans l’ameublement : les enseignes comme IKEA ou l’Atelier du Peintre se l’arrachent pour permettre à leurs clients de mieux se projeter dans leurs travaux. Et en effet, la réalité augmentée permet ici de projeter des meubles en 3D dans une pièce et ainsi d’expérimenter, là où cela n’aurait pas été possible (ou au prix d’une logistique très compliquée). Elle peut aussi permettre de repeindre virtuellement des murs et d’effectuer plusieurs tests avant de se décider, levant de grosses contraintes pour les utilisateurs.

• L’exploration : parmi les apps hebdo ou les apps favorites mises en avant dans l’AppStore, vous pourrez fréquemment retrouver l’application PeakVisor. Elle permet entre autre d’afficher en live, grâce à la réalité augmenté, le nom des sommets ainsi que leur altitude sur des montagnes ou des collines. Les utilisateurs peuvent interagir avec l’image augmentée pour voir toutes les infos sur les sommets, ils peuvent mieux se repérer. Un véritable plus pour les adeptes de panorama et de randonnée.

Pour résumer :

La Réalité Augmentée paraît apporter plus de valeur à l’utilisateur, notamment lorsqu’elle lui apporte des informations contextuelles ou qu’elle lui permet de se projeter. Elle a également fait grand bruit dans le monde du divertissement avec la sortie de PokémonGo en 2016.

La Réalité Virtuelle reste assez gadget à nos yeux pour l’instant, bien qu’elle permette de rendre les expériences de plus en plus immersives (ex: dans les jeux vidéos ou dans les sites et apps dédiés à l’image de marque).

Le matériel de VR ne semble pas avoir trouvé son public, en raison de l’éco-système applicatif qui peine à apparaître. Cependant, nous restons à l’affut de la sortie du Vision Pro qui fera sûrement naître des use cases passionnants. Celui qu’on attend le plus : l’arrivée des apps de dating dans le Metaverse, où le swipe mécanique laisserait place à des interactions plus “humaines” entre avatars.

‍

Et techniquement, comment ça marche la réalité augmentée ?

iOS (avec ARKit et RealityKit notamment) et Android (ARCore) offrent des frameworks robustes et sophistiqués pour le développement d'applications en réalité augmentée. Ils disposent des outils nécessaires pour gérer les aspects décrits ci-dessous.

En revanche, les solutions proposées par les technologies hybrides telles que React Native et Flutter pour développer des applications AR (comme le arcore_flutter_plugin ou react-native-ar), ne sont pas encore complètement matures d’après les retours du terrain. Elles présentent encore quelques difficultés comme la gestion de multiple images de référence ou le rendu 3D.

Il est donc important d’évaluer leurs limitations au regard des fonctionnalités voulues, avant de les utiliser pour une application en production.

Indépendamment de la technologie employée, il reste important de connaître les étapes clés qui permettent son bon fonctionnement avant de se lancer dans le développement d’application en réalité augmentée :

1. Détection de l’environnement

Le coeur du fonctionnement de l'AR réside dans le suivi de l'environnement, où l'odométrie joue un rôle clé.

L'odométrie, c’est une méthode utilisée pour estimer la position d'un agent mobile, comme un robot ou un appareil de réalité augmentée, en mouvement. En d'autres termes, c'est le processus de détermination de la distance parcourue en mesurant les données de déplacement au fil du temps.

Il est important de distinguer 2 types d’odométrie :

• L'odométrie visuelle utilise les caméras pour capturer des séquences d'images de l'environnement. En identifiant des points d'intérêt spécifiques (features) sur ces images et en suivant leur déplacement à travers plusieurs images successives, l'algorithme peut estimer la direction et la distance sur laquelle le dispositif s'est déplacé. Cela ressemble un peu à la façon dont les humains utilisent leurs yeux pour juger la distance et le mouvement, en observant les objets se déplacer par rapport à leur environnement.
• L’odométrie de mouvement repose sur des capteurs inertiels pour mesurer les accélérations et les rotations de l'appareil. En intégrant ces mesures sur le temps, l'appareil peut calculer des changements dans sa position et son orientation. Cette technique est souvent utilisée en complément de l'odométrie visuelle, pour améliorer la précision de la localisation. C’est le cas notamment lorsque les images ne fournissent pas suffisamment d'informations ou lorsqu’elles sont sujettes à des erreurs (ex: dans des environnements faiblement éclairés, très homogènes, où peu de repères visuels sont disponibles).

Cette capacité à suivre fidèlement le déplacement et l'orientation de l'appareil est indispensable pour maintenir la cohésion entre les éléments virtuels et le monde réel, même en cas de mouvement de l'utilisateur.

2. Compréhension de la scène

Après avoir détecté l'environnement, la prochaine étape dans la réalisation d'une expérience de réalité augmentée est de comprendre la disposition spatiale qui nous entoure. Cela implique de reconnaître avec précision où se trouvent les surfaces—comme les murs, les tables et le sol—et de déterminer les conditions d'éclairage actuelles. Ce n'est qu'avec cette compréhension détaillée que nous pouvons placer des objets virtuels dans le monde réel de manière crédible. Pour que ces objets semblent réellement faire partie de notre environnement, ils doivent non seulement être rendus de façon réaliste, mais aussi être ancrés fermement à des emplacements spécifiques. Les "ancres spatiales" jouent ici un rôle clé ; ce sont des points fixes dans le monde réel auxquels le contenu augmenté peut s'attacher, garantissant que les objets virtuels restent en place, même lorsque vous vous déplacez ou modifiez l'orientation de votre appareil.

3. Rendering

Il est maintenant possible d’afficher les objets 3D dans notre environnement (nous ne reviendrons pas sur les processus de mapping 3D ici mais vous pouvez retrouvez quelques notions importantes sur ce lien)La clé de cette opération réside dans la bonne maîtrise des éléments suivants :

• Éclairage et ombres : alignement de l'éclairage virtuel avec les conditions ambiantes réelles pour un rendu naturel des ombres et des reflets.
• Perspective et échelle : ajustement précis de la taille et de la position des objets 3D pour respecter les lois de la perspective et paraître naturellement intégrés à l'environnement de l'utilisateur.
• Textures et modèles : équilibrage entre des textures de haute qualité pour le réalisme et une géométrie simplifiée pour maintenir des performances élevées sur les dispositifs mobiles.
• Transparence et matériaux : traitement soigné des interactions lumineuses pour les matériaux complexes comme le verre ou les surfaces réfléchissantes.
• Cohérence spatiale : stabilisation des objets 3D via des ancres spatiales pour éviter la dérive et assurer qu'ils restent ancrés à leur position désignée même avec le mouvement de l'appareil ou les changements d'éclairage.

Il est également important de bien maîtriser l’usage des ressources du téléphone, en veillant à ce que les modèles 3D soient assez détaillés pour favoriser l'immersion sans surcharger les processeurs graphiques.

L'optimisation des textures et des effets spéciaux est essentielle pour maintenir un taux de rafraîchissement élevé, crucial pour une expérience AR fluide et réactive. De plus, il est important de minimiser la consommation énergétique pour éviter une décharge rapide de la batterie, ce qui implique souvent de réduire la résolution ou la complexité des scènes en temps réel.

Enfin, une utilisation intensive de l’AR pouvant entraîner une surchauffe de l'appareil. Il est primordial de veiller à l'efficacité du code et à l'utilisation judicieuse des API natives pour équilibrer la charge de travail entre le CPU et le GPU, permettant ainsi une expérience AR stable et durable sur les appareils mobiles.

Conclusion

La réalité augmentée vous permet de fusionner le monde réel avec des éléments virtuels, créant une expérience immersive et interactive. Même s’il est indispensable de bien comprendre les concepts, les frameworks d’iOS et d’Android vous permettent de gérer les concepts de suivi de l'environnement, de compréhension de la scène et de rendu 3D de manière efficace.

Vous avez des retours sur notre contenu, des idées, suggestions ? Contactez nous ! On sera ravi d’en discuter au détour d’un café ou d’un déjeuner 🥗