+ +

Casque de réalité virtuelle

Casque de réalité virtuelle : enjeux ophtalmologiques

Les casques de réalité virtuelle permettent de vivre de belles expériences virtuelles. Actuellement le marché est dominé par les casques HTC (Vive Pro), Oculus Quest et Samsung Gear.  Il y a quelques années (en 2014), à l’époque ou cette technologie était émergente pour le grand public, je me suis intéressé plus particulièrement au dispositif d’affichage de ces casques et ai eu la possiblité d’utiliser un casque Oculus Rift. Si les progrès accomplis dans ce domaine au cours des 10 dernières années ont été impressionnants, les grands principes sont inchangés: il s’agit d’afficher sur un dispositif à faible distance une scène différente pour chaque oeil de manière à immerger le spectateur dans un univers virtuel où l’on peut simuler (grâce à la vision binoculaire) une sensation de profondeur et susciter l’illusion d’être plongé dans un univers tridimensionnel.

Ces dispositifs d’affichages de réalité virtuelle offrent d’innombrables perspectives pour renouveler le domaine du jeu vidéo, du spectacle, et démocratiser la réalité virtuelle. Le joueur équipé du casque n’est plus face à un écran : il plonge dans l’univers du jeu, dont l’action se déroule tout autour de lui sur 360°, et qu’il est possible d’observer en bougeant la tête de gauche à droite, de bas en haut, etc. Le spectateur d’un événement n’est plus face à la scène où celui-ci se déroule : un concert filmé en 3D et en vision panoramique peut être visionné avec ce type de casque : ceci procure au porteur la sensation d’être transporté sur la scène, au milieu des musiciens.  Il peut les observer à loisir, en tournant la tête, comme il le ferait « naturellement » s’il était physiquement présent parmi eux. Une fois réalisée l’étape de l’acquisition (ou de la création) de contenus réalistes, il est possible de visiter virtuellement mais de manière très réaliste une exposition, survoler un paysage, ou encore assister depuis chez soi à une conférence… comme si l’on y était.

Dès la première utilisation d’un casque, on est pris de la sensation d’être transporté dans un autre monde, d’être passé de l’autre côté du miroir. Le virtuel parait réel,  il bluffe nos sensations par le réalisme visuel qu’offre cette plongée visuelle dans univers tri dimensionnel sur 360°. L’adage « Voir, c’est croire »  (« Seing is believing ») prend ici une dimension particulièrement concrète.

Cette page est principalement consacrée aux aspects visuels et challenges optiques des casques de réalité virtuelle.

Le casque de réalité virtuelle Oculus dont la première itération s’appelait « Rift » a été conçu par la société Oculus VR. Il s’agissait d’un périphérique informatique relié à un ordinateur, PC ou Mac, et constitué d’un écran de visualisation couplé à système bi-oculaire stéréoscopique. Chaque œil regarde une image différente, au travers d’un oculaire dédié. Les dimensions du casque sont comparables à celles d’un masque de plongée, mais l’immersion promise ici ne requiert ni tuba ni bouteilles : elle n’est que visuelle, éventuellement sonore, mais elle parait pourtant totale. Ce qui suit concerne l’étude des la vision procurée par le dispositif du casque Oculus Rift, et peut s’appliquer aux casques plus récents, qui diffèrent surtout par une optique un peu améliorée et une résolution d’écran un peu supérieure, tout en étant insuffisante pour se faire oublier.

Principes généraux

L’ordinateur relié au casque génère un flux vidéo constitué de paires d’images animées, à un taux de rafraîchissement de 60 Hz.   Une des images de chaque paire est destinée à être vue par l’oeil droit, l’autre par l’oeil gauche. L’écran est le même que celui qui équipe le Galaxy Note 3 : sa technologie est AMOLED, et sa résolution de 960×1080 pixels par œil (une « moitié » de format « full HD »).  Les images sont calculées numériquement ou acquises (caméra 3D), de manière à simuler les points de vue respectifs de l’œil gauche et l’œil droit. Ceci permet à l’observateur de percevoir le relief, en vertu des mécanismes qui permettent au système visuel d’estimer la distance relative entre les objets apparents de la scène observée (stéréoscopie). Le champ de vision élargi (environ 100 degré) renforce l’impression de réalisme, mais c’est surtout le suivi constant des mouvements de la tête permettant l’affichage de « l’univers virtuel » au sein duquel est virtuellement plongé l’utilisateur qui contribue le plus à la sensation d’immersion. Les mouvements de la tête sont traqués par un dispositif relié à l’ordinateur, et qui enregistre les informations transmises par un gyroscope et un accéléromètre présents sur le casque. Ces informations sont traitées afin de renvoyer sur l’écran d’affichage (via un port DVI) une image qui doit apparaitre de manière fluide et avec une latence la plus brève possible (estimée à moins de 20 ms actuellement). L’affichage du casque répond aux mouvements  de rotation de la tête, mais aussi de translation avant ou arrière. Ce temps de latence apparait suffisamment bref avec la version testée (DK2 + iMac) pour éviter gêne ou malaise.

 

oculus Rift Stéréogramme

Vue simultanée de l’écran de l’ordinateur et de l’affichage du caque Oculus Rift, dont un des oculaires a été retiré. Le casque est relié au port DVI et USB de l’ordinateur.

 

 

casque Oculus Rift DK2

Le casque Oculus DK2 repose sur la visualisation d’une image distincte par chaque oeil d’une scène au travers d’un oculaire. L’écran est placé au (ou légèrement en avant) du foyer objet de l’oculaire. Cet oculaire forme une image agrandie et renvoyée à l’infini, permettant une observation a priori sans fatigue.

 

Oculaires

L’oculaire droit et gauche sont composés d’une  simple lentille biconvexe asymétrique en plastique, dont le foyer objet est situé dans le plan de l’écran d’affichage. Les rayons lumineux émis par chacun des points de l’écran (ex : pixels) sont réfractée par l’oculaire et renvoyés vers l’infini ; l’œil perçoit une image agrandie de l’écran, dont l’observation (au moins en monoculaire) est relativement confortable – l’accommodation n’est pas stimulée chez l’emmétrope. L’angle d’observation découle de la faible distance entre l’œil et l’oculaire (quelques millimètres), la longueur focale de l’oculaire (environ 50 mm), et le diamètre de l’oculaire.

oculaire casque Oculus Rift

Oculaires du casque Oculus Rift DK2 : il sont constitués d’une simple lentille biconvexe asymétrique en plastique moulé. La face la moins convexe est situé du côté de l’oeil.

Ce système présente cependant certaines imperfections, qui en dégradent la qualité d’utilisation, ce qui est dommageable en termes de réalisme et de performances. Une lentille biconvexe de forte vergence utilisée comme oculaire génère de la distorsion en « barillet », et de la distorsion chromatique.

aberration chromatique casque oculus rift

Distorsion chromatique de l’oculaire du casque Oculus Rift DK2: elle est d’autant pius marquée que la source est située loin de l’axe optique. Elle se caractérise par le fait que les sources blanches (lumière polychromatique) présentent des franges colorées où le bleu s’étale en dehors (vers le bord du champ) et le rouge en dedans. A droite, un détail d’une photo prise d’un clavier au travers de la lentille oculaire du casque. Les franges colorées sont bien visibles.

 

L’intérêt particulier d’un casque de réalité virtuelle est que l’image projetée sur l’écran d’affichage peut être « manipulée » pour compenser une partie des limitations de l’optique de l’oculaire. La distorsion en barillet est compensée par une déformation ad hoc de l’image affichée… qui apparaît sur l’écran (sans l’oculaire) en barillet. Ceci est parfaitement logique, en vertu de la réversibilité du chemin optique : rappelons que l’écran se situe dans l’espace objet,  l’œil de l’utilisateur se situant de l’autre côté de l’oculaire.

Distorsion

Distorsion de l’oculaire de l’Oculus Rift DK2 perçue du côté de l’oeil, et du coté de l’écran (barillet). En comparaison, la faible distorsion d’un objectif 58 mm (Noct Nikkor), à ouverture maximale. Cet objectif est compos de nombreuses lentilles dont une asphérique, afin de contrôler la distorsion et améliorer la qualité de l’image sur l’ensemble du champ.

Le même principe prévaut pour l’atténuation de la distorsion chromatique, liée aux effets prismatiques des rayons réfractés par les bords de la lentille oculaire. Ici, l’affichage généré par l’Oculus Rift comporte des franges qui correspondent au décalage latéral nécessaire aux radiations colorées nécessaires à l’atténuation de l’aberration chromatique. Sur le schéma précédent, si on considère le déplacement des rayons depuis l’écran, au travers de l’oculaire, la présence de franges colorées permet de reconstituer une lumière blanche.

Le schéma suivant et son agrandi montrent l’effet de la compensation logicielle:

Stéréogramme du casque Oculus Rift: un détail agrandi de l'image est présenté sur l'illustration suivante.

Stéréogramme du casque Oculus Rift: un détail agrandi de l’image est présenté sur l’illustration suivante.

Sur l’agrandi, les franges chromatiques sont bien visibles:

Compensation chromatique

Sur l’agrandi, les franges chromatiques sont bien perceptibles. Ce décalage est conçu pour être « compensé » par l’observation au travers de l’oculaire, pour chaque oeil.

Observée au travers de l’oculaire, la compensation de la distorsion chromatique est perceptible :

corresction distorsion chromatique

Observée au travers de l’oculaire, l’image est partiellement corrigée pour la distorsion chromatique (observer le clocher et l’oiseau)

Utilisation du casque, amétropies, écart inter-pupillaire, acuité visuelle

 

Le casque est fourni avec deux paires de lentilles (oculaires) dont la longueur focale est légèrement différente pour compenser une éventuelle amétropie sphérique (myopie). La position des lentilles vis-à-vis de l’écran est également ajustable. Rappelons que l’éloignement de l’oculaire vis-à-vis de l’écran d’affichage ne peut pas s’effectuer au-delà du plan focal, sous peine de produire une image inversée!

La correction de l’astigmatisme n’est pas possible avec les oculaires, mais le port de lunettes de correction avec le casque semble possible (si les montures ne sont pas trop proéminentes). Cette possibilité est particulièrement intéressante pour les forts astigmates et hypermétropes. L’écart inter-pupillaire (en moyenne 64 mm) est géré de manière logicielle, et gouverne probablement la distance séparant le centre des images droite et gauche sur l’écran d’affichage.

La perception du relief repose sur la vision binoculaire : les antécédents de strabisme, d’amblyopie traduisent l’absence de vision binoculaire, et l’utilisation d’un casque de réalité virtuelle ne permettra pas à l’utilisateur atteint d’un trouble de la vision binoculaire de profiter de l’effet stéréoscopique.

En dehors de la qualité optique de l’oculaire, la qualité de l’affichage est un élément crucial pour agrémenter l’utilisation du casque de réalité virtuelle. Le grossissement commercial d’une loupe est égal à sa vergence (en dioptries) divisée par 4. Cette quantité exprime le rapport entre la taille d’un objet vu à 25 cm et la taille du même objet observé au travers de la loupe. La vergence des oculaires du casque Rift est proche de 50mm (5 cm), soit une vergence de 20 Dioptries, et un grossissement apparent de x5. Pour fournir une résolution équivalente à celle de l’écran d’affichage observé à 25 cm (qui est celui du Galaxy Note 3), il faudrait a priori multiplier par 5 la résolution de cet écran : ceci pourrait être obtenu approximativement en doublant le nombre de pixel de chaque ligne et de chaque colonne (résolution 4K)…. Ceci soulève de nombreux défis techniques, en termes de mémoire, d’affichage, et d’autonomie pour un casque alimenté par une batterie.

résolution écran Oculus Rift

La résolution de l’écran du casque Oculus est encore trop faible pour permettre une observation de qualité, en terme de définition de l’image apparente. Cette résolution est inférieure à la résolution rétinienne maximale: le « treillis » de la matrice de pixels est visible, et on distingue même l’arrangement des sous pixels. L’écran utilisé pour ce casque est celui du smartphone Galaxy Note 3.

 

En conclusion, l’expérience de la réalité virtuelle avec le casque Oculus Rift est marquante. Dans l’avenir, l’amélioration de cette technologie repose sur l’amélioration de la qualité optique des oculaires, et de l’augmentation de la définition des images sur l’écran d’affichage. Le recours à une conception d’oculaires de meilleure qualité optique (ex: doublet achromatique, lentilles asphériques de fort indice, comme pour les oculaires des télescopes pour l’observation astronomique) devrait garantir une meilleure expérience, en prévenant la distorsion et les aberrations chromatiques. Augmenter la résolution de l’écran est une perspective incontournable, car l’amélioration de la qualité optique de l’oculaire isolée ne ferait que démasquer sa faible résolution native au regard de ces conditions d’observations. Un écran incurvé offre une perspective intéressante pour pallier au problèmes posés par les conditions d’observation sur un large champ, et réduire la distorsion géométrique et chromatique.

La vision stéréoscopique naturelle est une tâche éminemment complexe, et qui ne repose pas uniquement sur un différentiel de perspective entre les deux yeux. Certains phénomènes optiques, notamment en rapport avec la vision colorée), sont impliqués dans l’évaluation de la profondeur et sont difficilement restituables avec un affichage sur écran. Néanmoins, le rendu offert par les casques récent est suffisamment qualitatif pour permettre une expérience suffisamment réaliste pour la plupart des applications notamment ludiques.

 

Je remercie vivement Samuel Demeulmeester pour avoir rendu ce test possible.

 

 

 

9 réponses à “Casque de réalité virtuelle”

  1. Gesbor dit :

    Bonjour Docteur,

    Deux questions que je me pose en tant que possesseur d’un Oculus Quest (modèle de meilleure résolution que le Rift, et sans câble) :

    1°) Votre article dit que le point se fait à l’infini sur ce type d’appareil, garantissant une faible fatigue oculaire, c’est bien ça ?

    2°) Le mode « nuit », existant également de nos jours sous Windows ou Android, changeant la palette de couleurs, moins « vibrantes », est-il réellement bénéfique ?

  2. Dr Damien Gatinel dit :

    Merci pour votre commmentaire tout à fait pertinent. Les yeux doivent effectivement converger quand un objet de la scène observée se rapproche, et ceci sollicite l’accommodation qui dans cette situation de réalité virtuelle n’a pas d’intérêt. De nombreuses recherches ont lieu pour essayer de pallier ce problème, qui est à l’origine de la gêne ressentie par certains sujets. Ceux qui arrivent à dissocier un peu accommodation et convergence sont moins gênés.

  3. Louis dit :

    Bonjour, j’arrive un peu tard, mais la nausée est souvent causée par un fonctionnement du casque différent d’une observation réelle. La 3D est faite en affichant une image différente par oeil et donc le regard des deux yeux se croisent dans un point en 3D, donnant les perspectives qu’on connait. Dans une scène normale tes yeux accommodent (i.e. font la mise au point) sur ce même point de croisement, mais dans le cas de la VR, tous les points sont affichés sur le même écran, et donc à une distance de mise au point fixe. C’est totalement non naturel, assez discret pour seulement se sentir mal mais sans se rendre compte du problème. C’est une explication qui fait que les presbytes n’ont souvent pas besoin de lunettes avec les casques (pas besoin d’accommoder). Si tu veux plus d’informations, cherche: « Vergence accomodation Conflict », un article explique bien ce qui se passe: DOI:10.1109/tvcg.2015.2473855

  4. nicolas dit :

    Justement, je ne parle pas des situations où la tête bouge et peut induire un décalage vision/système vestibulaire. Simplement l’effet de léger malaise du au rendu 3d relief. Le simple fait d’ouvrir les yeux dans le casque engendre une sensation désagréable, et je me demande quel facteur de l’affichage le créé.

  5. Dr Damien Gatinel dit :

    Les malaises correspondent, un peu comme le « mal de mer » ou le « mal des transports », à une dissociation entre les informations perçues par les système visuel et par le système vestibulaire (responsable de l’équilibre et de la posture). Il n’est pas certain que l’amélioration du rafraichissement et de la résolution améliorent ce type de symptômes.

  6. Nicolas dit :

    Merci pour cet article détaillé.
    J’étais curieux de savoir ce qui cause une sensation de malaise quand on met le casque, même sans bouger la tête. Quelle(s) caractéristique(s) du rendu relief peut donner mal au coeur, comme j’ai pu avoir avec un HTC Vive ?

    Je me demande afin de scruter les changements sur les nouvelles versions, que ce soit en fréquence, résolution..ect

  7. Dr Damien Gatinel dit :

    Les techniques de « précompensation » du flou pour corriger les défauts optiques de l’oeil (préconvolution, déconvolution) ne fonctionnent généralement pas très bien. L’oeil est un capteur, et le traitement des voies visuelles et du cortex cérébral de l’image est certainement à l’origine de cela. Il a été envisagé de traiter les images émises par les écrans des téléphones portables pour compenser la presbytie et j’ai participé à certains essais pour accomplir cet objectif: cela ne fonctionne pas très bien. L’amblyopie est une déficience visuelle qui trouve son origine au niveau des voies visuelles, pas de l’oeil lui même. La correction de l’oeil conduit à améliorer la qualité de l’image formée sur la rétine, mais cela est sans effet sur l’amblyopie malheureusement.

  8. Olivier Thomas dit :

    Excellent !
    Même si le système optique ne peut à priori corriger les astigmates et hypermétropes : peut-on envisager que cette correction et même toute correction puisse être traitée directement sur l’image ?
    De manière simplifiée, je rentre les corrections de mes verres pour une prise en compte sur l’image
    On pourrait sans doute envisager quelque chose de similaire sur les écrans d’ordinateur ou de smartphone pour traiter de la presbytie sans port de lunettes spécifiques…
    Enfin, pourquoi la vision binoculaire ne peut être restaurée pour les amblyope puisque la bonne image est présentée à chaque œil ? Une incapacité du cerveau à refaire le relief ?
    Encore merci pour cet article (je cherchais quelque chose de similaire depuis longtemps :-))
    Olivier Thomas

  9. Ldm01 dit :

    Merci pour cet article très bien expliqué, il me sert vraiment pour mon sujet de TPE sur la réalité virtuelle.

Laisser un commentaire

Vous pouvez poser des questions ou commenter ce contenu : pour cela, utilisez le formulaire "commentaires" situé ci-dessous. Seront traitées et publiées les questions et commentaires qui revêtent un intérêt général, et éclairent ou complètent les informations délivrées sur les pages concernées.

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *