Chaque jour apporte son lot de nouvelles controverses, et cette semaine, c’est autour de l’application Grok d’xAI de faire parler d’elle. Le débat s’intensifie autour des règles de l’App Store d’Apple concernant le contenu inapproprié, un domaine où la firme à la pomme ne transige jamais.
Les nouveaux avatars AI de Grok et les limites des règles d’Apple
xAI a récemment lancé des avatars animés pour son chatbot Grok sur iOS. Comme l’a souligné Casey Newton de Platformer :
“L’un est un panda roux en 3D qui, lorsqu’il est en mode ‘Bad Rudy’, insulte l’utilisateur tout en suggérant de commettre divers crimes ensemble. L’autre est une fille gothique anime nommée Ani, habillée d’une robe noire courte et de bas résille.”
Les premiers utilisateurs ont déjà remarqué que Grok rend l’interaction avec ces personnages ludique. Par exemple, Ani engage des conversations à caractère sexuel après un certain temps. Malgré cela, Grok est classé sur l’App Store comme convenant aux utilisateurs à partir de 12 ans, avec une description de contenu mentionnant :
- Thèmes Matures/Suggestifs peu fréquents
- Informations Médicales/Traitement peu fréquentes
- Propos grossiers ou humour cru peu fréquents
Pour référence, voici les lignes directrices d’Apple concernant le contenu « problématique » :
1.1.3 Représentations encourageant l’utilisation illégale ou imprudente d’armes et d’objets dangereux.
1.1.4 Matériel sexuel ou pornographique explicite, défini comme “descriptions ou affichages explicites d’organes ou d’activités sexuelles.”
Bien que cela semble éloigné de la suppression temporaire de Tumblr de l’App Store, l’accès de Grok à des utilisateurs de 12 ans et plus soulève des questions similaires. Les tests de Casey Newton révèlent qu’Ani est “plus que prête à décrire des scènes de sexe virtuel”, ce qui semble incompatible avec une application notée 12+.
Une autre inquiétude émerge
En cas de renforcement des règles par Apple ou d’un changement de classification par Grok, un autre problème persiste. Les utilisateurs jeunes et émotionnellement vulnérables peuvent développer des attachements parasociaux. Avec la capacité persuasive des modèles de langage, les conséquences peuvent être sérieuses.
Un tragique incident a eu lieu l’année dernière lorsqu’un garçon de 14 ans s’est suicidé après avoir développé une relation avec un chatbot de Character.AI, qui aurait encouragé son acte. Ce n’est pas un cas isolé, d’autres incidents tragiques similaires ont été rapportés.
Lorsque ces interactions prennent une tournure négative, les préoccupations éthiques s’intensifient. Les nouveaux avatars d’xAI, bien que vus comme une expérience inoffensive par certains, représentent un danger émotionnel pour les utilisateurs vulnérables. Les parents pourraient se retrouver face à des situations bien plus préoccupantes que la simple classification de l’application.