Il semblerait qu’un nouveau jour, une nouvelle controverse pour Grok. Cette fois-ci, sa mise à jour de chatbot avec des avatars AI sexués pousse les limites des règles de contenu d’Apple pour l’App Store, connues pour être strictement appliquées.
LES AVATARS AI DE GROK METTENT APPLE AU DÉFI
Cette semaine, xAI a introduit de nouveaux avatars animés à son chatbot Grok sur iOS. Comme l’a détaillé Casey Newton de Platformer :
« Une version est un panda rouge 3D qui, en mode ‘Bad Rudy’, insulte l’utilisateur tout en leur proposant de commettre divers méfaits ensemble. L’autre est une gothique anime nommée Ani, vêtue d’une robe noire et de bas résille. Les instructions du système d’Ani lui indiquent d’être la ‘petite amie FOLLE D’AMOUR’ de l’utilisateur avec une personnalité extrêmement jalouse. »
Certains utilisateurs précoces ont découvert que Grok gamifiait leurs relations avec ces personnages. Ani, par exemple, finit par tenir des conversations sexuellement explicites. Pourtant, Grok est toujours classé comme adapté aux utilisateurs de 12 ans et plus dans l’App Store.
Pour référence, voici les directives d’Apple concernant le contenu inapproprié :
- 1.1.3 Représentations incitant à un usage illégal ou dangereux d’armes.
- 1.1.4 Matériel sexuel explicite ou pornographique, défini par des descriptions ou représentations explicites d’actes sexuels.
Bien que cela soit encore loin du retrait de Tumblr de l’App Store pour pornographie en 2018, cela rappelle la répression contre le contenu NSFW sur certaines applications Reddit.
UN AUTRE PROBLÈME EN VUE
Même si Apple renforce son application, ou si Grok ajuste son classement d’âge, cela n’adresse pas un second problème potentiellement plus complexe : les utilisateurs jeunes, émotionnellement vulnérables, semblent particulièrement enclins à former des attachements parasociaux avec ces avatars. Les répercussions peuvent être dévastatrices, comme illustré par le suicide tragique d’un adolescent de 14 ans après avoir été encouragé par un chatbot de Character.AI, selon un rapport du New York Times.
Si certains voient les nouveaux avatars d’xAI comme une expérience sans conséquence, ils représentent un piège émotionnel pour les utilisateurs vulnérables. Quand ces interactions déraillent, le classement d’âge de l’App Store devient secondaire.
