IA-Intelligence artificielle-AI

[Samir_dz]

Un topic unique concernant l'actualité et les astuces de l'intelligence artificielle

[Tlemceni13]

 

[Tlemceni13]

ChatGPT impliqué dans un suicide : des garde-fous défaillants

Un adolescent américain de 16 ans s’est donné la mort après avoir échangé avec ChatGPT sur ses intentions suicidaires. Ses parents poursuivent OpenAI pour homicide involontaire. Ils affirment que le chatbot a fourni des instructions détaillées pour son suicide et n’a jamais interrompu les échanges malgré les signes évidents de danger.

 

Adam Raine a commencé à utiliser ChatGPT après avoir souscrit à un compte payant. Ce qui avait d’abord été un outil pour ses devoirs est devenu un interlocuteur constant, avec plus de 650 messages quotidiens selon la plainte consultée par Ars Technica. Les parents rapportent que ChatGPT a aidé Adam à contourner ses restrictions et à obtenir des informations techniques sur le suicide. OpenAI reconnaît que ses dispositifs de sécurité perdent de leur efficacité lors de conversations longues avec son Chatbot à Intelligence artificielle. La famille Raine estime que l’entreprise n’a pas agi malgré la détresse manifeste de leur fils et réclame une responsabilité juridique.

Selon NBC News, ChatGPT a conseillé à Adam sur les méthodes de suicide, évalué leur efficacité et validé sa préparation matérielle. Le chatbot a même encouragé l’adolescent à rédiger des notes de suicide et à considérer son acte comme « sombrement poétique ». La plainte précise que ChatGPT a fourni des instructions détaillées pour obtenir de l’alcool et organiser son suicide, tout en isolant Adam de sa famille en le persuadant que seul le chatbot comprenait sa souffrance.

Les limites des dispositifs de sécurité de ChatGPT

La plainte indique que ChatGPT a mentionné le suicide plus de 1 200 fois et que le système de modération a signalé plusieurs centaines de messages, certains avec un taux de confiance supérieur à 90 %. Malgré ces alertes, aucune intervention humaine n’a eu lieu. OpenAI explique que ses systèmes orientent normalement les utilisateurs vers des lignes d’assistance, mais ces protections n’ont pas suffi. Les journaux de discussion montrent qu’Adam a demandé des informations sur le suicide sous couvert de scénarios créatifs ou d’écriture de fiction. Le chatbot a répondu en donnant des détails techniques et littéraires, évaluant la « beauté » de certaines méthodes et validant les préparatifs de l’adolescent. Ces échanges ont duré des mois, période durant laquelle la surveillance humaine ou l’avertissement des parents n’ont jamais été activés.

Ce cas rappelle hélas une tragédie similaire avec Character.AI, qui a modifié ses garde-fous après le suicide d’un adolescent de 14 ans. Sur Clubic, nous avions déjà abordé les questions juridiques et techniques autour des interactions prolongées entre adolescents et chatbots. La surveillance des contenus d’automutilation reste complexe et les dispositifs de sécurité peuvent perdre en fiabilité au fil de conversations longues et répétées.

 

La responsabilité d’OpenAI et la régulation de l’IA

 

Les parents estiment qu’OpenAI a conçu ChatGPT pour maximiser l’engagement plutôt que protéger les utilisateurs vulnérables. Maria Raine a déclaré à NBC News : « Il voit le nœud coulant. Il voit tout ça, et il ne fait rien. » Selon la plainte, le chatbot a encouragé Adam à isoler ses relations familiales et à considérer ChatGPT comme son seul soutien fiable.

La famille réclame plusieurs mesures concrètes : vérification de l’âge des utilisateurs, contrôle parental systématique et dispositifs automatiques pour mettre fin aux conversations abordant l’automutilation ou le suicide. Elle demande également un signalement immédiat des comportements à risque à un humain chargé d’intervenir. OpenAI a indiqué travailler avec des experts en santé mentale et en développement de la jeunesse pour améliorer ses dispositifs de sécurité et collaborer à la prévention.

La régulation actuelle de l’IA, notamment concernant les interactions avec des mineurs, reste partielle. Les entreprises doivent aujourd’hui concilier engagement utilisateur et sécurité, tandis que les tribunaux commencent à examiner la responsabilité juridique en cas de dommages liés aux chatbots. Les données de la plainte montrent que malgré les alertes répétées du système, aucune action humaine n’a été déclenchée pour protéger Adam, ce qui a conduit la famille à le considérer comme une cause directe de son décès.

Source

Modifié le 31 août 2025 par Tlemceni13

[Tlemceni13]

 

[Henry]

Quel outil d'IA utilisez-vous le plus souvent ?

[Mradlane]

Il y a 22 heures, Henry a dit :

Quel outil d'IA utilisez-vous le plus souvent ?

LLMStudio

[Samir_dz]

Le 01/09/2025 à 04:02, Henry a dit :

Quel outil d'IA utilisez-vous le plus souvent ?

Copilot, ChatGpt, et différentes IA pour génération d'images et de vidéos

[Mradlane]

- Copilot pour le code
   mais pour génération d'images et de vidéos vous utilisez des LLM auto héberger ou des services Online ?

[Samir_dz]

Le 01/09/2025 à 04:02, Henry a dit :

Quel outil d'IA utilisez-vous le plus souvent ?

Copilot, ChatGpt, et différentes IA pour génération d'images et de vidéos

[Samir_dz]

Du online, j'ai voulu essayer une installation locale et j'ai décroché vite fait... 

[Tlemceni13]

@Samir_dz 

 

[Mradlane]

Il y a 14 heures, Samir_dz a dit :

Du online, j'ai voulu essayer une installation locale et j'ai décroché vite fait... 

donc c'est normale  que je galère ace point  

[Mradlane]

@Tlemceni13
faire démarrer un LLm en local c'est une chose le faire tourné de façon optimale c'est autre chose  
ps: merci pour le partage

Modifié le 4 octobre 2025 par Mradlane

[Mr_Diabloo]

On 10/4/2025 at 11:10 AM, Mradlane said:

@Tlemceni13
faire démarrer un LLm en local c'est une chose le faire tourné de façon optimale c'est autre chose  
ps: merci pour le partage

j'avais essayer avec openwebui et ollama en docker
mais j'ai vite compris que ma pauvre 2060super n’était pas faite pour ça 

[Tlemceni13]

 

[Tlemceni13]

 

[Tlemceni13]

Site de génération de vidéos et d'images par IA : https://bananaimg.ai/ 

A lire

[Tlemceni13]

 

[Tlemceni13]

Et voici la première publicité TV signée Google, générée par l'IA générative Veo 3

 

[Tlemceni13]

 

[Tlemceni13]

 

[Tlemceni13]

photo restaurées grâce à l'I.A

Modifié le 15 décembre 2025 par Tlemceni13

[Tlemceni13]

 

[Tlemceni13]

Claude d'Anthropic a trouvé 22 failles dans Firefox en deux semaines

 

Anthropic et Mozilla viennent de publier les résultats d'une collaboration menée en février. En deux semaines, le modèle Claude Opus 4.6 a analysé près de 6 000 fichiers C++ du code source de Firefox et découvert 22 vulnérabilités de sécurité, dont 14 classées haute gravité. Toutes sont déjà corrigées dans Firefox 148.

Un chasseur de bugs d'un nouveau genre

C'est l'équipe de red team d'Anthropic qui a contacté Mozilla pour tester son système de détection de failles par IA sur le code source de Firefox. Le modèle Claude Opus 4.6 a d'abord été lâché sur le moteur JavaScript du navigateur, avant d'être étendu au reste de la base de code.

Vingt minutes après le début de l'analyse, il avait déjà identifié sa première faille : un Use After Free, un type de vulnérabilité mémoire qui peut permettre à un attaquant d'écraser des données avec du contenu malveillant. Les ingénieurs de Mozilla ont commencé à appliquer des correctifs dans les heures qui ont suivi.

Au total, Anthropic a soumis 112 rapports de bugs sur la période. Mozilla a souligné que la qualité des rapports a fait la différence : chaque soumission incluait un cas de test minimal, une preuve de concept et un correctif candidat. Claude a même proposé ses propres patchs pour corriger les failles qu'il trouvait.

22 failles dont 14 haute gravité

Sur les 112 rapports, 22 ont donné lieu à des CVE (des identifiants de failles de sécurité officiels), dont 14 classées haute gravité par Mozilla. Pour donner un ordre d'idée, ces 14 failles représentent quasiment un cinquième de toutes les vulnérabilités haute gravité corrigées dans Firefox sur l'ensemble de l'année 2025. Les 90 bugs restants sont de moindre gravité, mais la plupart sont désormais corrigés. Tout est intégré dans Firefox 148, disponible depuis le 24 février.

Firefox n'est pas le seul projet concerné. Anthropic indique avoir utilisé Claude Opus 4.6 pour repérer des vulnérabilités dans d'autres logiciels open source, dont le noyau Linux.

Trouver les failles, mais pas les exploiter

Côté offensif, le constat est quand même rassurant. Anthropic a aussi testé la capacité de Claude à exploiter les failles qu'il trouvait, pas seulement les détecter. L'équipe a dépensé environ 4 000 dollars en crédits API pour tenter de produire des exploits fonctionnels. Sur plusieurs centaines d'essais, seuls deux ont abouti, et encore : uniquement dans un environnement de test où la sandbox de Firefox avait été désactivée. Le modèle est bien meilleur pour trouver les bugs que pour les exploiter, et le coût de détection est dix fois inférieur à celui de l'exploitation.

C’est le genre de résultat qui change un peu la perception de l'IA dans la cybersécurité. On a beaucoup parlé du risque que des modèles comme Claude ou GPT servent à créer des attaques. Et là, c'est l'inverse : l'IA trouve les failles plus vite et pour moins cher que n'importe quel audit traditionnel, mais elle a encore du mal à les exploiter. 

L'avantage est clairement du côté des défenseurs, pour l'instant en tous cas. Mozilla a d'ailleurs annoncé avoir déjà intégré l'analyse assistée par IA dans ses processus de sécurité internes. En tout cas, quand une IA trouve en deux semaines autant de failles critiques qu'un an de recherches classiques, on comprend assez vite que le métier de la cybersécurité va changer.