Apple détaille une démonstration d’inférence locale sur Mac Studio : quatre machines équipées de puces M5 Ultra exécuteraient Muse Spark Open à plus de 36 jetons par seconde. Selon Apple Machine Learning Research, chaque Mac atteint un pic d’environ 300 watts dans cette configuration, un débit supérieur à la vitesse de lecture d’un utilisateur.
Le test porte sur Muse Spark Open, un modèle à poids ouverts comptant 816 milliards de paramètres, dont 42 milliards de paramètres actifs, avec une fenêtre de contexte d’un million de jetons. Apple ne cherche donc pas ici à présenter un nouveau modèle maison, mais les capacités de son matériel et de sa pile logicielle pour faire fonctionner des modèles de très grande taille en local.
La mémoire unifiée au cœur de la démonstration
Le point central est l’architecture à mémoire unifiée d’Apple silicon. D’après Apple, le GPU intégré de la M5 Ultra peut accéder à jusqu’à 512 Go de mémoire dans un Mac Studio, au lieu d’être limité à la mémoire dédiée d’une carte graphique. Deux Mac Studio peuvent ainsi réunir un téraoctet de mémoire unifiée pour accueillir un modèle complet.
Apple met également en avant la bande passante mémoire de 1,2 To/s de la M5 Ultra. Celle-ci doit permettre d’alimenter rapidement le calcul en lisant la portion de données nécessaire à la génération de chaque jeton. La configuration à deux machines est ainsi présentée comme un ensemble capable de se comporter comme un seul système de calcul doté d’un téraoctet de mémoire unifiée.
MLX, le logiciel conçu pour Apple silicon
Cette approche repose aussi sur MLX, le framework d’apprentissage automatique d’Apple pensé pour l’architecture à mémoire unifiée. Son interface se veut familière pour les développeurs utilisant NumPy, tout en proposant des briques pour les réseaux neuronaux, les optimiseurs, la différentiation automatique et l’optimisation de graphes.
MLX propose par ailleurs des liaisons pour Swift, C++ et C, ce qui permet son emploi sur les plateformes Apple. Dans ses essais, Apple indique avoir lancé des flux de travail agentiques entièrement sur l’appareil avec Muse Code et Muse Spark Open, notamment des modifications d’une application iOS, ainsi que des tâches dans DaVinci Resolve incluant l’analyse de séquences image par image et le recadrage vertical.
Ce que ça change
Cette démonstration illustre l’intérêt potentiel du Mac Studio pour les équipes qui veulent exécuter des modèles imposants sans déplacer leurs traitements vers une infrastructure distante. La mémoire unifiée devient un critère matériel aussi important que la puissance GPU pour ces usages.
Il faudra surtout surveiller l’adoption de MLX et la disponibilité de modèles optimisés : le matériel ne suffit que si les outils logiciels permettent d’exploiter efficacement cette capacité de mémoire et de calcul.
À lire aussi
Source : Apple — Machine Learning Research
Rédigé avec l'assistance d'outils d'IA, vérifié et validé par la rédaction.