Apple Research a présenté HALO, pour Humanoid Autonomy, Learned in Simulation, running Onboard, un système destiné à rendre un robot humanoïde capable d’agir dans un environnement qu’il n’a jamais vu. Dans leurs essais, les chercheurs utilisent un Unitree G1 portant sur son dos un Mac mini équipé d’une puce M4 Pro et de 64 Go de mémoire unifiée.
Ce Mac mini exécute localement les modèles qui interprètent l’environnement du robot et planifient ses mouvements. Selon Apple, le système ne s’appuie ni sur le cloud ni sur une téléopération : les caméras du robot captent la scène, puis HALO prend les décisions nécessaires à la tâche demandée.
Un entraînement mené dans 1 000 pièces virtuelles
Le cœur de l’approche repose sur la simulation. Apple indique avoir produit environ 300 heures de mouvements synthétiques de type humain dans 1 000 salons, bureaux et chambres générés par ordinateur, avec Nvidia Isaac Sim. L’objectif est d’apprendre au robot à associer vision, langage et mouvement avant de le confronter au monde réel.
Les démonstrations montrent notamment le Unitree G1 suivre une personne, trouver une chaise et s’y asseoir lorsqu’on le lui demande, se baisser ou ramper sous une table, franchir une porte entrouverte et pousser des boîtes. Apple oppose ces actions aux démonstrations robotiques chorégraphiées : dans une pièce inconnue, le robot doit d’abord percevoir les meubles et obstacles avant de pouvoir agir.
91 % de réussite sur 360 essais
D’après les résultats publiés par Apple Research, HALO a atteint 91 % de réussite sur 360 essais réels couvrant six compétences. Chaque test a été répété dix fois dans six environnements réels non vus auparavant. Parmi les mesures citées, le passage d’une porte à moitié ouverte a obtenu jusqu’à 93 % de réussite dans les essais réels, tandis que l’action de s’asseoir sur une chaise a atteint 85 %.
Le système dépend encore d’instructions rédigées par une personne : son répertoire de tâches évolue donc avec les demandes qui lui sont spécifiées. Apple relève aussi une baisse des résultats lorsque plusieurs tâches sont enchaînées. Les expérimentations présentées ne portent pas sur la manipulation d’objets.
Ce que ça change
Cette recherche illustre qu’un Mac mini peut assurer à bord d’un robot les calculs de perception et de planification, sans dépendre d’une connexion à des serveurs distants. L’approche par simulation permet surtout de produire les données d’entraînement en parallèle, plutôt que de devoir enregistrer chaque démonstration par un opérateur humain. Le passage d’actions isolées à des séquences fiables dans des environnements variés constitue le point clé à suivre pour mesurer la maturité de ce type de robot.
À lire aussi
Source : Apple Research — article « Perceptive Humanoid Motion from Simulation » (arXiv)
Rédigé avec l'assistance d'outils d'IA, vérifié et validé par la rédaction.