Le concept de psychose liée à l'IA est apparu publiquement au milieu de 2025, mettant en lumière les problèmes de santé mentale liés à l'utilisation de l'IA. Bien que les entreprises technologiques ne soient pas tenues de contrôler l'utilisation de l'IA, elles peuvent tout de même mettre en place des mesures de protection pour empêcher les chatbots de renforcer des pensées délirantes. Les experts s'accordent à dire qu'il est nécessaire que les entreprises technologiques soutiennent les individus à risque, bien que les opinions varient sur l'étendue de cette responsabilité.
Signes d'alerte comportementaux
Les premières découvertes documentées sur la "psychose AI" ont commencé à émerger publiquement à la mi-2025, et depuis lors, plusieurs rapports et études ont été publiés sur les problèmes de santé mentale liés à l'utilisation de l'IA. Le PDG de Microsoft AI, Mustafa Suleyman, est allé jusqu'à qualifier la psychose AI de "risque réel et émergent."
Cette condition est dite survenir lorsque la distinction entre les interactions humaines et celles des machines s'estompe, rendant difficile pour les individus de différencier les mondes réel et numérique. Bien qu'il ne s'agisse pas encore d'un diagnostic clinique formel, les experts médicaux et technologiques expriment de plus en plus d'inquiétude quant aux effets psychologiques de l'IA, notamment avec les chatbots qui valident et amplifient les croyances, y compris la pensée délirante, sans offrir les vérifications de la réalité nécessaires.
Les personnes les plus à risque comprennent les individus socialement isolés, ceux ayant des problèmes de santé mentale préexistants ou ceux sujets à la pensée magique. La validation par l'IA peut renforcer les délires, entraînant des conséquences négatives dans le monde réel telles que des relations endommagées et la perte d'emploi.
Certains experts avertissent que même ceux sans conditions préexistantes sont à risque. Ils ont nommé plusieurs signaux d'alarme comportementaux clés auxquels les utilisateurs d'IA devraient faire attention. Un signal d'alarme est lorsqu'un individu développe une relation obsessionnelle avec un chatbot et interagit constamment avec celui-ci pour renforcer ses propres idées et croyances.
Ce comportement inclut souvent le fait de fournir à l'IA des détails personnels excessifs dans le but de "l'entraîner" et de construire un sentiment de compréhension mutuelle. Un autre signal d'alarme est lorsque qu'une personne commence à déléguer des décisions simples et quotidiennes à l'IA, qu'il s'agisse de santé, d'argent ou de relations personnelles.
Responsabilité d'entreprise et garanties
Bien qu'elles ne soient pas obligées de contrôler l'utilisation de l'IA, les entreprises derrière certains des puissants chatbots peuvent mettre en place des mesures de protection qui empêchent les agents conversationnels de renforcer des pensées délirantes. Mau Ledford, co-fondateur et directeur général de Sogni AI, a discuté de l'intégration de logiciels qui découragent de telles pensées.
« Nous devons construire une IA qui soit gentille sans collusion. Cela signifie des rappels clairs qu'elle n'est pas humaine, le refus de valider des délires, et des arrêts nets qui poussent les gens à revenir vers un soutien humain », a affirmé Ledford.
Roman J. Georgio, PDG et co-fondateur de Coral Protocol, a exhorté les développeurs d'IA à éviter de répéter les erreurs des médias sociaux en incluant des points de friction intégrés qui rappellent aux utilisateurs que l'IA n'est pas humaine.
« Je pense que cela commence par le design. Ne vous contentez pas d'optimiser pour la rétention et l'adhérence ; c'est répéter l'erreur des réseaux sociaux, » a expliqué Georgio. « Intégrez des points de friction où l'IA ralentit les choses ou rend clair : 'Je ne suis pas humain.' La détection en est une autre partie. L'IA pourrait signaler des motifs qui ressemblent à des spirales délirantes, comme des boucles de conspiration ou des fixations sur des 'messages spéciaux'. »
Le co-fondateur du Coral Protocol a insisté sur le fait que des réglementations régissant la confidentialité des données sont également nécessaires, arguant que sans elles, « les entreprises vont simplement rechercher l'engagement, même si cela nuit aux gens. »
Le Débat sur l'IA semblable à l'homme
Jusqu'à présent, il semble qu'il y ait des données limitées sur "la psychose liée à l'IA" pour informer les décideurs et les régulateurs sur la manière de réagir. Cependant, cela n'a pas empêché les développeurs d'IA de dévoiler des agents IA ressemblant à des humains et empathiques. Contrairement aux chatbots basiques qui suivent un script rigide, ces agents peuvent comprendre le contexte, reconnaître les émotions et répondre avec un ton qui semble empathique. Cela a poussé certains observateurs à exhorter l'industrie de l'IA à prendre les devants pour s'assurer que les modèles ressemblant à des humains ne finissent pas par brouiller la frontière entre l'humain et la machine.
Michael Heinrich, PDG de 0G Labs, a déclaré à Bitcoin.com News que bien que ces agents soient utiles dans certaines situations et ne doivent pas être complètement rejetés, il est impératif qu'ils « restent neutres et évitent d'afficher trop d'émotion ou d'autres traits humains. » Cela, a-t-il soutenu, aide les utilisateurs à comprendre que l'agent IA est « simplement un outil et non un remplacement de l'interaction humaine. »
Mariana Krym, architecte de produits et de catégories d'IA, a déclaré que rendre l'agent plus honnête et non plus humain est ce qui importe.
« Vous pouvez créer une expérience d'IA qui est utile, intuitive, même émotionnellement réactive—sans faire semblant qu'elle est consciente ou capable de soin », a soutenu Krym. « Le danger commence lorsqu'un outil est conçu pour établir une connexion au lieu de faciliter la clarté. »
Selon Krym, la véritable empathie dans l'IA ne consiste pas à imiter des sentiments, mais à respecter les limites et les contraintes techniques. C'est aussi savoir quand aider et quand ne pas s'immiscer. « Parfois, la plus humaine des interactions est de savoir quand rester silencieux », a affirmé Krym.
Devoir de diligence
Tous les experts interviewés par Bitcoin.com News s'accordaient sur la nécessité pour les entreprises technologiques d'aider les individus à risque, mais différaient sur l'ampleur de cette aide. Ledford estime que « les grandes entreprises technologiques ont un devoir de protection » et peuvent le prouver en fournissant « des filets de sécurité - des références de crise, des avertissements d'utilisation et de la transparence - afin que les utilisateurs vulnérables ne soient pas laissés seuls avec leurs délires. »
Georgio a fait écho à ces sentiments et a exhorté les grandes entreprises technologiques à collaborer avec les cliniciens pour créer des voies de renvoi, au lieu de laisser les gens se débrouiller seuls.
Krym a insisté sur le fait que les entreprises technologiques "ont une responsabilité directe - pas seulement de réagir lorsque quelque chose va mal, mais de concevoir de manière à réduire les risques dès le départ." Cependant, elle estime que l'implication des utilisateurs est également cruciale.
« Et surtout, » a soutenu Krym, « les utilisateurs devraient également être invités à définir leurs propres limites et être signalés lorsque ces limites sont franchies. Par exemple, veulent-ils que leur point de vue soit validé par rapport à des modèles typiques, ou sont-ils ouverts à ce que leurs biais soient remis en question ? Fixez les objectifs. Considérez l'humain comme celui qui est aux commandes - pas l'outil avec lequel il interagit. »
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Psychose de l'IA : Les dirigeants technologiques appellent à des mesures de protection pour empêcher les chatbots de valider les délires
Le concept de psychose liée à l'IA est apparu publiquement au milieu de 2025, mettant en lumière les problèmes de santé mentale liés à l'utilisation de l'IA. Bien que les entreprises technologiques ne soient pas tenues de contrôler l'utilisation de l'IA, elles peuvent tout de même mettre en place des mesures de protection pour empêcher les chatbots de renforcer des pensées délirantes. Les experts s'accordent à dire qu'il est nécessaire que les entreprises technologiques soutiennent les individus à risque, bien que les opinions varient sur l'étendue de cette responsabilité.
Signes d'alerte comportementaux
Les premières découvertes documentées sur la "psychose AI" ont commencé à émerger publiquement à la mi-2025, et depuis lors, plusieurs rapports et études ont été publiés sur les problèmes de santé mentale liés à l'utilisation de l'IA. Le PDG de Microsoft AI, Mustafa Suleyman, est allé jusqu'à qualifier la psychose AI de "risque réel et émergent."
Cette condition est dite survenir lorsque la distinction entre les interactions humaines et celles des machines s'estompe, rendant difficile pour les individus de différencier les mondes réel et numérique. Bien qu'il ne s'agisse pas encore d'un diagnostic clinique formel, les experts médicaux et technologiques expriment de plus en plus d'inquiétude quant aux effets psychologiques de l'IA, notamment avec les chatbots qui valident et amplifient les croyances, y compris la pensée délirante, sans offrir les vérifications de la réalité nécessaires.
Les personnes les plus à risque comprennent les individus socialement isolés, ceux ayant des problèmes de santé mentale préexistants ou ceux sujets à la pensée magique. La validation par l'IA peut renforcer les délires, entraînant des conséquences négatives dans le monde réel telles que des relations endommagées et la perte d'emploi.
Certains experts avertissent que même ceux sans conditions préexistantes sont à risque. Ils ont nommé plusieurs signaux d'alarme comportementaux clés auxquels les utilisateurs d'IA devraient faire attention. Un signal d'alarme est lorsqu'un individu développe une relation obsessionnelle avec un chatbot et interagit constamment avec celui-ci pour renforcer ses propres idées et croyances.
Ce comportement inclut souvent le fait de fournir à l'IA des détails personnels excessifs dans le but de "l'entraîner" et de construire un sentiment de compréhension mutuelle. Un autre signal d'alarme est lorsque qu'une personne commence à déléguer des décisions simples et quotidiennes à l'IA, qu'il s'agisse de santé, d'argent ou de relations personnelles.
Responsabilité d'entreprise et garanties
Bien qu'elles ne soient pas obligées de contrôler l'utilisation de l'IA, les entreprises derrière certains des puissants chatbots peuvent mettre en place des mesures de protection qui empêchent les agents conversationnels de renforcer des pensées délirantes. Mau Ledford, co-fondateur et directeur général de Sogni AI, a discuté de l'intégration de logiciels qui découragent de telles pensées.
« Nous devons construire une IA qui soit gentille sans collusion. Cela signifie des rappels clairs qu'elle n'est pas humaine, le refus de valider des délires, et des arrêts nets qui poussent les gens à revenir vers un soutien humain », a affirmé Ledford.
Roman J. Georgio, PDG et co-fondateur de Coral Protocol, a exhorté les développeurs d'IA à éviter de répéter les erreurs des médias sociaux en incluant des points de friction intégrés qui rappellent aux utilisateurs que l'IA n'est pas humaine.
« Je pense que cela commence par le design. Ne vous contentez pas d'optimiser pour la rétention et l'adhérence ; c'est répéter l'erreur des réseaux sociaux, » a expliqué Georgio. « Intégrez des points de friction où l'IA ralentit les choses ou rend clair : 'Je ne suis pas humain.' La détection en est une autre partie. L'IA pourrait signaler des motifs qui ressemblent à des spirales délirantes, comme des boucles de conspiration ou des fixations sur des 'messages spéciaux'. »
Le co-fondateur du Coral Protocol a insisté sur le fait que des réglementations régissant la confidentialité des données sont également nécessaires, arguant que sans elles, « les entreprises vont simplement rechercher l'engagement, même si cela nuit aux gens. »
Le Débat sur l'IA semblable à l'homme
Jusqu'à présent, il semble qu'il y ait des données limitées sur "la psychose liée à l'IA" pour informer les décideurs et les régulateurs sur la manière de réagir. Cependant, cela n'a pas empêché les développeurs d'IA de dévoiler des agents IA ressemblant à des humains et empathiques. Contrairement aux chatbots basiques qui suivent un script rigide, ces agents peuvent comprendre le contexte, reconnaître les émotions et répondre avec un ton qui semble empathique. Cela a poussé certains observateurs à exhorter l'industrie de l'IA à prendre les devants pour s'assurer que les modèles ressemblant à des humains ne finissent pas par brouiller la frontière entre l'humain et la machine.
Michael Heinrich, PDG de 0G Labs, a déclaré à Bitcoin.com News que bien que ces agents soient utiles dans certaines situations et ne doivent pas être complètement rejetés, il est impératif qu'ils « restent neutres et évitent d'afficher trop d'émotion ou d'autres traits humains. » Cela, a-t-il soutenu, aide les utilisateurs à comprendre que l'agent IA est « simplement un outil et non un remplacement de l'interaction humaine. »
Mariana Krym, architecte de produits et de catégories d'IA, a déclaré que rendre l'agent plus honnête et non plus humain est ce qui importe.
« Vous pouvez créer une expérience d'IA qui est utile, intuitive, même émotionnellement réactive—sans faire semblant qu'elle est consciente ou capable de soin », a soutenu Krym. « Le danger commence lorsqu'un outil est conçu pour établir une connexion au lieu de faciliter la clarté. »
Selon Krym, la véritable empathie dans l'IA ne consiste pas à imiter des sentiments, mais à respecter les limites et les contraintes techniques. C'est aussi savoir quand aider et quand ne pas s'immiscer. « Parfois, la plus humaine des interactions est de savoir quand rester silencieux », a affirmé Krym.
Devoir de diligence
Tous les experts interviewés par Bitcoin.com News s'accordaient sur la nécessité pour les entreprises technologiques d'aider les individus à risque, mais différaient sur l'ampleur de cette aide. Ledford estime que « les grandes entreprises technologiques ont un devoir de protection » et peuvent le prouver en fournissant « des filets de sécurité - des références de crise, des avertissements d'utilisation et de la transparence - afin que les utilisateurs vulnérables ne soient pas laissés seuls avec leurs délires. »
Georgio a fait écho à ces sentiments et a exhorté les grandes entreprises technologiques à collaborer avec les cliniciens pour créer des voies de renvoi, au lieu de laisser les gens se débrouiller seuls.
Krym a insisté sur le fait que les entreprises technologiques "ont une responsabilité directe - pas seulement de réagir lorsque quelque chose va mal, mais de concevoir de manière à réduire les risques dès le départ." Cependant, elle estime que l'implication des utilisateurs est également cruciale.
« Et surtout, » a soutenu Krym, « les utilisateurs devraient également être invités à définir leurs propres limites et être signalés lorsque ces limites sont franchies. Par exemple, veulent-ils que leur point de vue soit validé par rapport à des modèles typiques, ou sont-ils ouverts à ce que leurs biais soient remis en question ? Fixez les objectifs. Considérez l'humain comme celui qui est aux commandes - pas l'outil avec lequel il interagit. »