Apple détaille une nouvelle approche de reconnaissance des gestes à partir de signaux musculaires (EMG), capable d’identifier des mouvements de la main absents des données d’entraînement initiales. Les travaux sont publiés sur le blog Apple Machine Learning Research, via l’étude EMBridge: Enhancing Gesture Generalization from EMG Signals through Cross-Modal Representation Learning (Apple Machine Learning Research).
La présentation de l’étude est prévue lors de la conférence ICLR 2026, en avril (ICLR).
EMG : de quoi s’agit-il exactement
L’EMG (électromyographie) mesure l’activité électrique produite par les muscles lors de leur contraction. La technologie est utilisée de longue date en diagnostic médical, en rééducation et dans certains systèmes de contrôle de prothèses. Ces dernières années, elle est aussi explorée pour des interfaces de type wearable et des usages AR/VR.
Objectif : généraliser à des gestes jamais vus
Le cœur de l’étude tient en une promesse technique : apprendre à reconnaître des gestes à partir de signaux EMG, y compris lorsque ces gestes n’existaient pas dans le jeu de données d’origine. Pour y parvenir, Apple décrit EMBridge comme « un framework d’apprentissage de représentations cross-modales qui comble l’écart de modalité entre l’EMG et la pose ».
Les jeux de données utilisés
- emg2pose : un jeu de données open source à grande échelle combinant 370 heures de sEMG et des données de pose de la main synchronisées, recueillies auprès de 193 participants, couvrant 29 groupes de comportements (gestes discrets et continus). Les labels de pose proviennent d’un système de capture de mouvement haute résolution. Les sessions incluent des placements variés du bracelet EMG, avec des fenêtres d’entrée non chevauchantes de 2 secondes et un pré-traitement (filtrage passe-bande 2–250 Hz et filtre notch à 60 Hz) décrit dans l’étude.
- NinaPro : utilisation de plusieurs ensembles pour l’évaluation. NinaPro DB2 sert au pré-entraînement avec des paires EMG-pose issues de 40 sujets et 49 gestes. Les signaux EMG sont enregistrés via 12 électrodes sur l’avant-bras à 2 kHz, avec des cinématiques de la main capturées par un gant de données. Pour la classification en aval, l’étude s’appuie aussi sur NinaPro DB7, collecté avec le même dispositif et le même ensemble de gestes que DB2.
Comment EMBridge « fait le pont » entre EMG et pose
La méthode vise à relier des signaux EMG bruts à des informations structurées de pose de la main. Le modèle est d’abord pré-entraîné séparément sur des données EMG et sur des données de pose, puis les représentations sont alignées afin que l’encodeur EMG puisse apprendre à partir de l’encodeur de pose. Une étape de masked pose reconstruction consiste ensuite à masquer une partie des données de pose et à demander au modèle de les reconstruire à partir des informations extraites des signaux EMG.
Les auteurs indiquent qu’EMBridge permet une classification « zero-shot » de gestes à partir de signaux EMG portés, et soulignent un mécanisme destiné à limiter les erreurs lorsque des gestes très proches sont traités comme des négatifs stricts : le modèle apprend à reconnaître des configurations de main similaires et génère des cibles plus « souples », ce qui structure l’espace de représentations et améliore la généralisation.
Résultats et limites mentionnées
- Évalué sur emg2pose et NinaPro, EMBridge surpasse de manière consistante des approches existantes, en particulier sur la reconnaissance de gestes jamais vus.
- Les gains sont rapportés avec environ 40 % des données d’entraînement.
- Limitation notable : l’entraînement repose sur des jeux de données associant EMG et pose synchronisée, dont la collecte peut être complexe.
L’étude cite comme application pratique potentielle l’interaction homme-machine sur wearable, notamment en VR/AR et pour le contrôle de prothèses, où un dispositif porté au poignet doit inférer en continu des gestes à partir de l’EMG pour piloter un avatar virtuel ou une main robotique (Apple Machine Learning Research).
