Des environnements 3D sont créés à partir des reflets des yeux

Ambientes 3D estão a ser criados a partir dos reflexos oculares

Les yeux sont le miroir de l’âme, mais ils reflètent littéralement ce qui est devant nous. Une équipe de chercheurs de l’Université du Maryland transforme les reflets des yeux en scènes 3D relativement perceptibles.

Des environnements 3D sont créés à partir des reflets des yeux

Les travaux de l’Université du Maryland sont basés sur Neural Radiance Fields (NeRF), une technologie d’intelligence artificielle capable de reconstruire des environnements à partir de photos 2D. Bien que l’approche réflexe oculaire ait encore un long chemin à parcourir avant de générer des applications pratiques, l’étude donne un aperçu fascinant de la technologie qui peut éventuellement révéler un environnement à partir d’une série de simples portraits.

L’équipe a utilisé des réflexions subtiles de lumière capturées dans les yeux humains, en utilisant des images consécutives prises à partir d’un seul capteur, pour essayer de discerner l’environnement immédiat de la personne.

Des environnements 3D sont créés à partir des reflets des yeux

Le réflexe oculaire a une limite

Ils ont commencé avec plusieurs images haute résolution à partir d’une position de caméra fixe, capturant une personne en mouvement regardant la caméra. Ensuite, ils ont zoomé sur les reflets, les ont isolés et ont calculé où les yeux regardaient sur les photos.

Les résultats montrent une reconstruction de l’environnement, relativement perceptible à l’œil humain dans un environnement contrôlé. Cependant, une tentative de modélisation des reflets oculaires des clips vidéo de Miley Cyrus et Lady Gaga n’a reproduit que de vagues bulles pointées comme la grille LED et une caméra sur un trépied, illustrant à quel point la technologie est éloignée de l’utilisation dans le monde réel.

L’équipe a surmonté des obstacles importants pour reconstruire même des scènes rugueuses et confuses. Par exemple, la cornée introduit un « bruit inhérent » qui rend difficile la séparation de la lumière réfléchie des textures complexes de l’iris humain. Pour résoudre ce problème, ils ont introduit l’optimisation de la pose cornéenne (estimation de sa position et de son orientation) et la décomposition de la texture de l’iris (extraction des caractéristiques uniques de l’iris d’un individu) au cours du processus de développement et d’apprentissage.

Enfin, la perte de lissage radial des textures, une technique d’apprentissage automatique qui simule des textures plus lisses que le matériau source, a permis d’isoler et d’améliorer davantage le paysage réfléchi.

Des environnements 3D sont créés à partir des reflets des yeux

Malgré les progrès, des obstacles importants subsistent.

Nos résultats réels actuels proviennent d’une « configuration de laboratoire » telle qu’une photo agrandie du visage d’une personne, des lumières pour éclairer la scène et un mouvement délibéré de la personne.

Nous pensons que les configurations avec moins de restrictions restent difficiles en raison de la résolution inférieure du capteur, de la plage dynamique et du flou de mouvement.

Vous avez parlé de l’équipe de développement.

En outre, les enquêteurs notent que leurs hypothèses universelles sur la texture de l’iris peuvent être trop simplistes pour être appliquées à grande échelle, en particulier lorsque les yeux tournent plus que dans ce type de réglage contrôlé. Pourtant, l’avenir s’annonce prometteur.

Envie de vous détendre un peu ? Voici un reportage très intéressant sur l’intelligence artificielle :

YouTube video