Mark Zuckerberg a fait sensation il y a quelques semaines en annonçant que les avatars de son métaverse allaient bientôt avoir des jambes. Une révolution à l’échelle d’Horizon Worlds, la plateforme de Meta : ça n’a l’air de pas grand chose mais ajouter des jambes à des avatars qui n’existent actuellement que sous forme de bustes flottants est beaucoup plus compliqué qu’il n’y parait.
Reproduire le corps en 3D, plus difficile qu’il n’y parait
En l’absence de capteurs externes (ou de caméras sur les casques tournées vers les jambes de l’utilisateur), il est en effet très difficile de reproduire fidèlement les mouvements des membres inférieurs. Et encore plus en temps réel… « Sérieusement, les jambes c’est difficile ! », s’est exclamé Mark Zuckerberg durant cette conférence. Des chercheurs ont peut-être trouvé la solution.
Une équipe de l’université Cornell, aux États-Unis, a en effet mis au point une caméra de la taille d’une pièce de monnaie qui est en mesure de reproduire en 3D l’intégralité du corps humain, jambes y compris. Le BodyTrak, qui peut s’intégrer dans un bracelet ou une montre connectée, s’appuie sur les données physiques collectées grâce au capteur vidéo, et un réseau neuronal.
Après avoir pris quelques photos partielles du corps, l’intelligence artificielle de BodyTrak va se charger de remplir les blancs. Pas besoin de photographies précises, le modèle de l’IA ayant été entraîné à identifier des mouvements comme la marche ou la position assise. La silhouette numérique en 3D contient 14 articulations (tête, torse, bras et jambes).
Le projet vise à « comprendre la pose de l’utilisateur et donner un retour en temps réel », comme l’explique Cheng Zhang, professeur adjoint de sciences à Cornell. Il n’y a aucune limite dans les zones de mouvement de l’utilisateur. L’équipe s’intéresse au suivi de l’activité physique, mais on peut assez facilement imaginer qu’un tel capteur pourrait trouver une place dans des casques VR pour reproduire fidèlement la corpulence de l’utilisateur.
