Cela devient très intéressant. Lors de la publication des résultats par le laboratoire d'IA : 'Regardez, cela prouve pleinement nos percées'. Le résultat n'était pas à la hauteur des attentes ? Immédiatement, ils changent de ton : 'Les tests de référence ne peuvent pas mesurer le vrai niveau d'intelligence'.

Croire sélectivement aux données, cette astuce fonctionne à chaque fois dans le cercle technologique. Le problème, c'est que vous ne pouvez pas à la fois utiliser la référence comme critère de succès et, en cas d'échec, la déclarer invalide. Soit la référence a du sens, soit il ne faut pas en parler.

Cette attitude reflète un phénomène dans l'industrie : lorsque les données vous sont favorables, c'est une preuve irréfutable ; lorsque les données sont défavorables, on commence à remettre en question la validité même du test. Les projets réellement solides devraient avoir une conscience claire des résultats — ne pas se vanter en cas de victoire, ne pas rejeter la faute en cas de défaite.