Quel est le « Nex » pour l'industrie du jeu immersif ?

Une plateforme de jeux basée à San Francisco a développé un partenariat de jeu immersif stellaire avec Sky Live

Dernière modification : 3 août 2023

Démond Cureton

Alors que l’industrie du jeu éclipse le secteur du cinéma et de la réalisation cinématographique, les sociétés de jeux exploitent leurs technologies pour créer des expériences immersives de niveau supérieur.

Des sociétés telles que Meta, Holoride, Improbable, Steam, Sony et bien d’autres ont commencé à exploiter leurs technologies de jeux sérieux pour y parvenir. Grâce à leurs solutions innovantes, de plus en plus d'entreprises et leurs clientèles se sont lancées dans les technologies émergentes via des plateformes de réalité mixte (MR).

Couramment utilisée pour créer du contenu 3D en temps réel (RT3D), la capture de mouvement (mocap) est rapidement devenue un pilier du marché de la réalité étendue (XR), utilisée sur les derniers casques.

Grâce à leurs caméras orientées vers l'avant, au suivi des mains et des yeux et à 3 à 6 degrés de vol (DoF), les casques les plus populaires au monde ont utilisé des outils de capture de mouvement pour améliorer l'immersion de l'utilisateur.

Une entreprise chevronnée du secteur de la vision par ordinateur et des jeux mocap a partagé ses réussites avec une approche nouvelle et plus simple.

XR Today a le plaisir d'interviewerDavid Lee, co-fondateur et directeur général, Nex Team Inc . Dans notre discussion, nous explorons l’essor des technologies de capture de mouvements immersives pour l’industrie du jeu vidéo.

Nous examinons également les solutions de jeu mocap Nex Playground de sa société, son kit de développement de mouvement (MDK) basé sur Unity et son partenariat avec Sky Live.

David Lee : Notre aventure a commencé en 2017 après avoir voulu créer une capture de mouvement à l'aide de caméras de téléphone. Cela s'est produit autour de la sortie de la puce A12 Bionic d'Apple. Apple avait également publié CoreML, qui simplifiait fondamentalement la manière dont les modèles d'apprentissage automatique s'exécutaient sur les appareils mobiles.

Avance rapide jusqu’à aujourd’hui, et ce niveau de puissance de traitement se retrouve dans un nombre croissant de processeurs système sur puce (SoC).

Les SoC phares disposent désormais de ces capacités et les exploitent pour le mocap de base et le suivi de mouvement sur les appareils. Nex les utilise efficacement dans ses boîtes de configuration, où l'image de la caméra, capturée sur l'appareil, est envoyée à l'unité de traitement neuronal (NPU). C'est là que l'analyse de l'apprentissage automatique (ML) extrait la pose du corps et que nous pouvons capturer le mouvement d'un utilisateur.

Ceci est ensuite transmis au moteur de jeu pour dessiner des images qui y répondent. C'est ainsi que nous pouvons réellement interpréter les mouvements des utilisateurs sur l'écran, permettant ainsi aux joueurs d'interagir avec le contenu.

Nous travaillons sur ce sujet depuis assez longtemps et avons intégré l'ensemble des technologies dans notre kit de développement de mouvement (MDK). Nous disposons de deux kits développés sur le moteur de jeu Unity et proposons un suivi de mouvement via une seule caméra RVB.

Cela déploie la capacité de capture de mouvement sur les systèmes d'exploitation comme Android, qui fonctionne sur les appareils Nex Playground. Nous proposons également une accélération matérielle, qui exploite les capacités sous-jacentes du SoC, pour stimuler l'inférence ML pour les modèles de pose. Il contient également de nombreux outils permettant de créer plus facilement des jeux de mouvement.

Nous utilisons nous-mêmes le MDK et partageons notre stratégie avec des studios externes créant des jeux vidéo pour Nex Playground. Certaines technologies sont développées en interne et d’autres proviennent également de partenariats.

David Lee : Sky Live est une caméra interactive pour nos caméras TV interactives Sky Glass. Les téléviseurs ont commencé à être expédiés l'année dernière et nos caméras interactives ont été lancées en juin dernier.

Ceux-ci sont dotés de puces SoC avancées, traitant 30 images par seconde pour extraire le mouvement. Il s’agit de la technologie de base qui permet aux utilisateurs de créer des expériences basées sur le mouvement.

Dans l'ensemble, l'appareil a quatre cas d'utilisation principaux : la vidéoconférence, le visionnage d'appels enregistrés, le visionnage d'émissions connectées et enfin, les jeux de mouvement et le suivi de la condition physique pour obtenir des commentaires sur les entraînements.

Nex est essentiellement un partenaire majeur de Sky en matière de jeux de mouvement, et sur les 27 expériences fournies avec le lancement, Nex est responsable de 17 d'entre elles.

Cela fonctionne avec un partenaire au-delà du streaming en apportant des expériences interactives dans les salons des gens. Cela nous aidera également à élargir la manière dont nous distribuons les jeux aux foyers et aux consommateurs sur le marché britannique.