Oh ! Il n’est pas rare qu’une entreprise se laisse aller à un test de référence, mais les conséquences peuvent être embarrassantes lorsqu’elle se fait prendre. Intel se retrouve dans cette situation, puisque SPEC rapporte que le fabricant de puces aurait utilisé un compilateur conçu sur mesure pour des milliers de ses tests.
Lorsque des tiers évaluent des produits informatiques, tout le monde suppose que les tests sont effectués sur un pied d’égalité et que les résultats affichés n’ont pas été l’objet d’un tour de passe-passe. Découvrir occasionnellement que ce n’est pas le cas peut être exaspérant, compte tenu de l’importance que l’industrie et les sociétés acheteuses accordent aux indices de référence.
Préparez-vous à être en colère.
La Standard Performance Evaluation Corporation (SPEC) a modifié environ 2 600 enregistrements couvrant les résultats SPEC CPU 2017 pour les processeurs Intel avec une note indiquant que les résultats pour les processeurs Intel Xeon – les plus anciens principalement – n’étaient pas valides. Une enquête issue d’un audit interne du SPEC a révélé qu’Intel avait utilisé des compilateurs qui effectuaient des transformations avec une applicabilité étroite, ce qui signifie que les résultats étaient peu susceptibles d’être ceux que les utilisateurs finaux pouvaient espérer expérimenter.
Intel a utilisé un compilateur – en particulier le oneAPI DPC++/C++ – optimisé pour le benchmark spécifique SPEC CPU 2017 plutôt que pour les charges de travail testées. Le benchmark en question était 523.xalancbmk_r / 623.xalancbmk_s. Pour parler franchement, Intel a triché.
Michael Larabel de Phoronix estime que le compilateur spécialement conçu par Intel aurait pu augmenter la vitesse de 9 pour cent et d’environ 4 pour cent pour le taux SPECint.
ServeTheHome a déclaré que les résultats Intel Xeon Sapphire Rapids de 4e génération semblaient avoir été les plus impactés sur la base de plusieurs vérifications ponctuelles des enregistrements notés par SPEC. Il a remarqué que les optimisations se trouvaient dans le compilateur 2022, mais que la dernière version (2023.2.3), généralement utilisée pour le dernier lancement d’Intel Xeon Emerald Rapids de 5e génération, n’avait plus les optimisations.
Cette tromperie n’est pas la première fois que l’intégrité d’une entreprise autour des résultats de référence est remise en question. Tom’s Hardware souligne certains des cas les plus tristement célèbres, comme celui où NVIDIA aurait effectué une optimisation côté driver pour améliorer les performances de ses GPU dans 3DMark 2003. Sept ans plus tard, en 2010, NVIDIA a accusé AMD d’utiliser un paramètre de qualité d’image différent. pour améliorer les résultats de référence par rapport aux cartes GeForce comparables. Les fournisseurs de puces mobiles Qualcomm, Samsung et MediaTek auraient falsifié les résultats de performances d’Android en 2020.
Envie de vous détendre un peu ? Voici un reportage très intéressant sur l’intelligence artificielle :
