Isto é muito interessante. Quando o laboratório de IA anuncia os resultados: 'Vejam, isso prova completamente o nosso avanço'. E se o resultado não for o esperado? Imediatamente mudam de opinião: 'Os testes de referência simplesmente não conseguem medir o verdadeiro nível de inteligência'.

Confiar seletivamente nos dados, essa jogada é recorrente no círculo tecnológico. O problema é que você não pode usar padrões como medida de sucesso e, ao mesmo tempo, dizer que esses padrões são inválidos quando fracassa. Ou eles têm significado, ou não deveriam ser usados para justificar argumentos.

Essa atitude reflete um fenômeno na indústria: quando os dados favorecem você, eles são uma prova irrefutável; quando não favorecem, começa-se a questionar a própria validade do teste. Projetos realmente competentes devem ter uma compreensão clara dos resultados — se ganhar, não se vangloriar; se perder, não procurar culpados.