IA-Intelligence artificielle-AI

[Samir_dz]

Un topic unique concernant l'actualité et les astuces de l'intelligence artificielle

[Tlemceni13]

 

[Tlemceni13]

ChatGPT impliqué dans un suicide : des garde-fous défaillants

Un adolescent américain de 16 ans s’est donné la mort après avoir échangé avec ChatGPT sur ses intentions suicidaires. Ses parents poursuivent OpenAI pour homicide involontaire. Ils affirment que le chatbot a fourni des instructions détaillées pour son suicide et n’a jamais interrompu les échanges malgré les signes évidents de danger.

 

Adam Raine a commencé à utiliser ChatGPT après avoir souscrit à un compte payant. Ce qui avait d’abord été un outil pour ses devoirs est devenu un interlocuteur constant, avec plus de 650 messages quotidiens selon la plainte consultée par Ars Technica. Les parents rapportent que ChatGPT a aidé Adam à contourner ses restrictions et à obtenir des informations techniques sur le suicide. OpenAI reconnaît que ses dispositifs de sécurité perdent de leur efficacité lors de conversations longues avec son Chatbot à Intelligence artificielle. La famille Raine estime que l’entreprise n’a pas agi malgré la détresse manifeste de leur fils et réclame une responsabilité juridique.

Selon NBC News, ChatGPT a conseillé à Adam sur les méthodes de suicide, évalué leur efficacité et validé sa préparation matérielle. Le chatbot a même encouragé l’adolescent à rédiger des notes de suicide et à considérer son acte comme « sombrement poétique ». La plainte précise que ChatGPT a fourni des instructions détaillées pour obtenir de l’alcool et organiser son suicide, tout en isolant Adam de sa famille en le persuadant que seul le chatbot comprenait sa souffrance.

Les limites des dispositifs de sécurité de ChatGPT

La plainte indique que ChatGPT a mentionné le suicide plus de 1 200 fois et que le système de modération a signalé plusieurs centaines de messages, certains avec un taux de confiance supérieur à 90 %. Malgré ces alertes, aucune intervention humaine n’a eu lieu. OpenAI explique que ses systèmes orientent normalement les utilisateurs vers des lignes d’assistance, mais ces protections n’ont pas suffi. Les journaux de discussion montrent qu’Adam a demandé des informations sur le suicide sous couvert de scénarios créatifs ou d’écriture de fiction. Le chatbot a répondu en donnant des détails techniques et littéraires, évaluant la « beauté » de certaines méthodes et validant les préparatifs de l’adolescent. Ces échanges ont duré des mois, période durant laquelle la surveillance humaine ou l’avertissement des parents n’ont jamais été activés.

Ce cas rappelle hélas une tragédie similaire avec Character.AI, qui a modifié ses garde-fous après le suicide d’un adolescent de 14 ans. Sur Clubic, nous avions déjà abordé les questions juridiques et techniques autour des interactions prolongées entre adolescents et chatbots. La surveillance des contenus d’automutilation reste complexe et les dispositifs de sécurité peuvent perdre en fiabilité au fil de conversations longues et répétées.

 

La responsabilité d’OpenAI et la régulation de l’IA

 

Les parents estiment qu’OpenAI a conçu ChatGPT pour maximiser l’engagement plutôt que protéger les utilisateurs vulnérables. Maria Raine a déclaré à NBC News : « Il voit le nœud coulant. Il voit tout ça, et il ne fait rien. » Selon la plainte, le chatbot a encouragé Adam à isoler ses relations familiales et à considérer ChatGPT comme son seul soutien fiable.

La famille réclame plusieurs mesures concrètes : vérification de l’âge des utilisateurs, contrôle parental systématique et dispositifs automatiques pour mettre fin aux conversations abordant l’automutilation ou le suicide. Elle demande également un signalement immédiat des comportements à risque à un humain chargé d’intervenir. OpenAI a indiqué travailler avec des experts en santé mentale et en développement de la jeunesse pour améliorer ses dispositifs de sécurité et collaborer à la prévention.

La régulation actuelle de l’IA, notamment concernant les interactions avec des mineurs, reste partielle. Les entreprises doivent aujourd’hui concilier engagement utilisateur et sécurité, tandis que les tribunaux commencent à examiner la responsabilité juridique en cas de dommages liés aux chatbots. Les données de la plainte montrent que malgré les alertes répétées du système, aucune action humaine n’a été déclenchée pour protéger Adam, ce qui a conduit la famille à le considérer comme une cause directe de son décès.

Source

Modifié il y a 14 heures par Tlemceni13

[Tlemceni13]