Организация по оценке производительности систем SPEC (Standard Performance Evaluation Corporation) аннулировала более 2600 результатов тестирования процессоров Intel Xeon за 2022 и 2023 годы. Причина – использование Intel специальных компиляторов, которые искусственно завышали показатели производительности в бенчмарке CPU 2017.
Конкретно, речь идет о тестах CPU 2017 от SPEC , в которых Intel обвиняется в том, что компиляторы были настроены таким образом, чтобы специально повысить производительность по определенным показателям, что в результате могло привести к завышению результатов на 9%. Это обнаружение было сделано в ходе анализа собственной базы данных бенчмарков SPEC, которые, хотя и не будут удалены для сохранения исторической ценности, тем не менее, были объявлены недействительными для отчетов организации.
Такие действия Intel вызвали обеспокоенность, поскольку бенчмарки играют ключевую роль в оценке производительности оборудования, и их результаты могут влиять на решения компаний о многомиллионных инвестициях. Этот инцидент поднимает вопросы о достоверности и прозрачности тестирования производительности, особенно учитывая, что обвинения в манипулировании результатами бенчмарков не являются чем-то новым в технологической индустрии.
Важно отметить, что процессоры Xeon и тест SPEC 2017 предназначены для использования в промышленных и образовательных приложениях, что делает их менее релевантными для обычных потребителей. Тем не менее, этот случай подчеркивает общую проблему доверия к результатам тестирования производительности в индустрии.