Il y a quelques mois, Apple a lancé FastVLM, un modèle de langage visuel qui offrait un traitement d’image haute résolution quasiment instantané. Désormais, vous pouvez l’essayer, à condition de disposer d’un Mac équipé d’une puce Apple Silicon. Voici comment procéder.
Lorsque nous avons présenté FastVLM, nous avions expliqué qu’il utilisait MLX, le cadre propriétaire d’Apple, spécifiquement conçu pour les puces Apple Silicon. Cela lui permettait de sous-titrer des vidéos jusqu’à 85 fois plus rapidement tout en étant plus de trois fois plus petit que des modèles comparables.
Depuis, Apple a poursuivi ses travaux sur ce projet, qui peut maintenant être trouvé sur Hugging Face, et pas seulement sur GitHub. Sur Hugging Face, vous pouvez charger la version allégée, FastVLM-0.5B, directement dans votre navigateur et l’essayer par vous-même.
En fonction de votre matériel, le chargement peut prendre un peu de temps. Il m’a fallu quelques minutes sur mon MacBook Pro M2 Pro avec 16 Go de RAM. Mais une fois chargé, le modèle a commencé à décrire avec précision mon apparence, la pièce derrière moi, différentes expressions et les objets que je mettais en vue.
Dans le coin inférieur gauche, vous pouvez ajuster l’invite que le modèle prendra en compte lors de l’actualisation en direct du sous-titrage, ou vous pouvez choisir parmi quelques suggestions telles que :
- Décrivez ce que vous voyez en une phrase.
- Quelle est la couleur de mon t-shirt ?
- Identifiez tout texte ou contenu écrit visible.
- Quelles émotions ou actions sont représentées ?
- Nommez l’objet que je tiens dans ma main.
S’il vous vient l’envie de pousser l’expérience plus loin, vous pouvez essayer d’utiliser une application de caméra virtuelle pour alimenter l’outil en vidéo et le regarder décrire instantanément plusieurs scènes en détail, au point de rendre difficile la compréhension de ce qui se passe. Bien entendu, le cas d’utilisation réel serait différent, mais cela souligne à quel point le modèle peut être rapide et précis.
Cet essai est d’autant plus intéressant qu’il fonctionne localement sur le navigateur, ce qui signifie qu’aucune donnée ne quitte l’appareil, et qu’il peut même fonctionner hors ligne. Cela pourrait bien sûr être un cas d’utilisation formidable pour les appareils portables et la technologie d’assistance, où la légèreté et la faible latence seront primordiales pour débloquer de meilleurs cas d’utilisation.
Il est à noter que la démonstration tourne sur le modèle plus léger de 0,5 milliard de paramètres, tandis que la famille FastVLM inclut également des variantes plus grandes et plus puissantes avec 1,5 milliard et 7 milliards de paramètres. Avec des modèles plus grands, la performance et la vitesse pourraient s’améliorer encore, bien que le faire directement sur le navigateur soit probablement à éviter.
