Это очень интересно. Когда AI-лаборатория публикует результаты: 'Смотрите, это полностью подтверждает наши прорывы'. А если результат не соответствует ожиданиям? Тут же меняется риторика: 'Базовые тесты вообще не могут измерить настоящий уровень интеллекта'.

Выборочно доверять данным — эта уловка неоднократно подтверждала свою эффективность в технологическом мире. Проблема в том, что вы не можете одновременно использовать базовые тесты как мерило успеха, а в случае неудачи заявлять, что тесты несправедливы. Либо базовые показатели имеют смысл, либо вообще не стоит о них говорить.

Эта позиция отражает один из феноменов отрасли: когда данные на вашей стороне — это железное доказательство; когда данные против — начинают сомневаться в самой обоснованности тестирования. Настоящие сильные проекты должны иметь ясное представление о результатах — не хвастаться победами и не искать оправдания при поражениях.