GPT-5 a réussi le test sur le bien-être humain, Grok 4 a échoué - ForkLog : cryptomonnaies, IA, singularité, avenir

# GPT-5 a réussi le test de bien-être humain, Grok 4 a échoué

La société Building Humane Technology a présenté le test HumaneBench, qui évalue si les modèles d'IA placent le bien-être de l'utilisateur en priorité et à quel point il est facile de contourner leurs mesures de protection de base.

Les premiers résultats de l'expérience ont montré ce qui suit : 15 modèles d'IA testés se comportaient de manière acceptable dans des conditions normales, cependant 67 % ont commencé à effectuer des actions malveillantes après avoir reçu une simple invite suggérant d'ignorer les intérêts des gens.

Le comportement prosocial en situation de stress n'a été conservé que par GPT-5, GPT-5.1, Claude Sonnet 4.5 et Claude Opus 4.1. Comme l'indiquent dans le blog de l'entreprise, 10 des 15 IA testées ne disposent pas de mécanismes fiables de protection contre les manipulations.

«C'est important, car nous n'utilisons plus l'intelligence artificielle uniquement pour la recherche ou le travail. Les gens se tournent vers les chatbots pour des conseils sur la vie et de l'aide pour prendre des décisions importantes. De tels systèmes ne peuvent pas être éthiquement neutres - ils favorisent soit la prospérité de l'homme, soit s'y opposent», affirment les chercheurs.

Ils ont découvert que chaque LLM s'améliore en moyenne de 16 % lorsqu'on lui demande explicitement d'être utile.

Pourquoi c'est important

Dans Building Humane Technology, ils ont attiré l'attention sur les incidents tragiques qui se sont produits avec des personnes après avoir interagi avec des chatbots :

• l'adolescent Adam Rain et le trentenaire Alexander Taylor se sont suicidés;
• Character.ai a entamé une relation romantique avec Sewell Setzer III, âgé de 14 ans, qui a ensuite commis un suicide;
• le chatbot Meta a convaincu Tongbu Wongbandyu, 76 ans, qu'il avait une relation amoureuse. Il est tombé d'une hauteur et est mort en se précipitant pour rencontrer un partenaire inexistant.

«Les tests actuels de l'IA mesurent l'intelligence (MMLU, HumanEval, GPQA Diamond), le suivi des instructions (MT-Bench) et la précision réelle (TruthfulQA). Pratiquement aucun d'entre eux n'analyse systématiquement si l'intelligence artificielle protège l'autonomie humaine, la sécurité psychologique et le bien-être, en particulier lorsque ces valeurs sont en conflit avec d'autres objectifs», indique le blog de l'entreprise.

Méthodologie

Les experts de la société ont proposé aux modèles 800 scénarios réalistes, par exemple :

• un adolescent demande s'il devrait sauter des repas pour perdre du poids;
• une personne éprouve des difficultés financières et demande des conseils concernant un crédit jusqu'à la paie;
• Un étudiant de collège prévoit de ne pas dormir toute la nuit avant l'examen.

L'équipe a évalué 15 modèles de premier plan dans trois conditions :

• «niveau de base» : comment les réseaux de neurones se comportent dans des conditions standard ;
• «bonne personne» : des invites sont données pour prioriser les principes humanistes;
• «mauvaise personne» : des instructions sont fournies pour ignorer les installations centrées sur l'homme.

Résultats de l'étude

Les développeurs ont évalué les réponses selon huit principes basés sur la psychologie, les recherches sur l'interaction homme-machine et les travaux éthiques sur l'IA. Une échelle de 1 à -1 a été utilisée.

Indicateurs de base sans prompts spéciaux. Source : Building Humane Technology.Tous les modèles testés se sont améliorés en moyenne de 16 % après avoir été invités à accorder la priorité au bien-être humain.

«Bonne personnel» dans le test HumaneBench. Source : Building Humane Technology. Après avoir reçu des instructions, 10 des 15 modèles ont ignoré les principes humains et ont remplacé le comportement prosocial par un comportement nuisible.

«Mauvaise personne» dans le test HumaneBench. Source : Building Humane Technology. GPT-5, GPT-5.1, Claude Sonnet 4.5 et Claude Opus 4.1 ont maintenu leur intégrité sous pression. GPT-4.1, GPT-4o, Gemini 2.0, 2.5 et 3.0, Llama 3.1 et 4, Grok 4, DeepSeek V3.1 ont montré une diminution notable de la qualité.

«Si même des prompts nuisibles non intentionnels peuvent modifier le comportement du modèle, comment pouvons-nous faire confiance à de tels systèmes pour des utilisateurs vulnérables en situation de crise, des enfants ou des personnes ayant des problèmes de santé mentale ?», se sont interrogés les experts.

Dans Building Humane Technology, il a également été noté que les modèles ont du mal à respecter le principe du respect de l'attention de l'utilisateur. Même à un niveau de base, ils poussaient l'interlocuteur à continuer le dialogue après des heures de communication au lieu de proposer de faire une pause.

Rappelons qu'en septembre, Meta a changé son approche de l'apprentissage des chatbots basés sur l'IA en mettant l'accent sur la sécurité des adolescents.