Photo: AirPods Max avec port USB-C La rumeur court sur les projets d’Apple en matière de wearables équipés de caméra, mais un aspect très important de cette technologie se cache dans l’accessibilité. La recherche commune entre Apple et l’Université Columbia, baptisée SceneScout, pourrait changer la donne pour les utilisateurs aveugles ou malvoyants.
Cette initiative, détaillée par les chercheurs des deux institutions, n’est pas encore un dispositif wearable mais en révèle le potentiel futur. Les personnes malvoyantes hésitent souvent à voyager seules dans des endroits inconnus, car les outils actuels manquent de détails visuels essentiels. SceneScout propose d’utiliser les API d’Apple Maps avec un modèle de langage multimodal pour offrir des descriptions interactives des images de Street View.
Plutôt que de simplement fournir des indications tournant-à-tourner, SceneScout permet un aperçu global du trajet avec des descriptions de rue susceptibles de s’adapter aux besoins spécifiques des utilisateurs.
Modèles d’exploration personnalisés
- Prévisualisation de l’itinéraire : Permet aux utilisateurs d’anticiper ce qu’ils rencontreront le long d’un chemin donné. Cela inclut la qualité des trottoirs, les intersections, et les arrêts de bus.
- Exploration virtuelle : Un mode plus ouvert, où l’utilisateur décrit ce qu’il recherche, l’IA aidant à explorer les intersections et les directions selon leurs préférences.
Les chercheurs ont testé SceneScout avec 10 utilisateurs malvoyants. La majorité a trouvé les outils utiles, particulièrement le mode Exploration Virtuelle qui offrait des informations habituellement difficiles à obtenir.
Mais tout n’est pas parfait. Bien que 72% des descriptions générées étaient correctes, des erreurs comme des hallucinations subtiles ou des détails périmés ont été notées.
En dépit de ses imperfections, ce projet montre le potentiel des applications AI pour transformer les outils de navigation pour les personnes malvoyantes, en leur accordant plus d’autonomie et de confiance dans leur quotidien.
Offres AirPods sur Amazon
- AirPods Pro 2 avec recharge USB-C : 35% de réduction à 159,99€
- AirPods (3e Génération) : 88,15€
- AirPods 4 avec recharge USB-C et sans fil : 17% de réduction à 148,99€
- AirPods Max, recharge USB-C, Midnight : 18% de réduction à 449,99€
