OpenAI affirme que le benchmark utilisé pour mesurer les compétences en codage de l’IA est « contaminé »

Le chiffre que tous les grands laboratoires d’IA utilisent pour revendiquer la suprématie du codage vient d’être déclaré sans valeur.

OpenAI a publié cette semaine un article annonçant que SWE-bench Verified, la référence de référence pour mesurer les capacités de codage de l'IA, est tellement en proie à des tests défectueux et à des fuites de données d'entraînement qu'il ne dit plus rien d'utile sur la capacité d'un modèle à réellement écrire des logiciels.

Le benchmark fonctionne comme ceci : vous donnez à une IA un véritable problème GitHub issu d'un projet Python open source populaire, lui demandez de corriger le bug sans voir les tests et vérifiez si sa solution réussit les tests ayant échoué sans rien casser d'autre.

OpenAI a créé SWE-bench Verified en août 2024 en tant que version plus raffinée du benchmark original de 2023, embauchant 93 ingénieurs logiciels pour filtrer les tâches impossibles ou mal conçues.

Le débogage a suffisamment bien fonctionné pour que tous les grands laboratoires aient commencé à citer leurs résultats comme preuve de progrès. Lorsqu'Anthropic sort Claude Opus 4 en mai 2025, Décryptage signalé que le modèle a obtenu un score de 72,5 % dans SWE-bench Verified, battant les 54,6 % de GPT-4.1 et les 63,2 % de Gemini 2.5 Pro. C'était la référence en matière d'encodage qui comptait.

Depuis lors, tous les laboratoires d’IA, de l’Amérique à la Chine, ont présenté leurs performances en SWE pour revendiquer le trône du meilleur modèle en matière de capacités de codage.

Aujourd’hui, OpenAI affirme que la race était en partie une illusion. Selon le rapport, l'équipe a audité 138 tâches pour lesquelles GPT-5.2 a systématiquement échoué au cours de 64 exécutions indépendantes, et a demandé à six ingénieurs d'examiner chacune d'entre elles. Finalement, il a conclu que 59,4% de ces tâches sont défectueuses.

Environ 35,5 % ont des tests écrits de manière si spécifique qu'ils nécessitent un nom de fonction spécifique qui n'est jamais mentionné dans la description du problème. 18,8 % supplémentaires vérifient les fonctionnalités qui ne faisaient pas partie du problème d'origine, extraites de demandes d'extraction sans rapport.

Le problème de contamination fonctionne à peu près comme ceci : SWE-bench extrait ses problèmes de référentiels open source que la plupart des sociétés d'IA suivent lors de la création de leurs ensembles de formation. OpenAI a vérifié si GPT-5.2, Claude Opus 4.5 et Gemini 3 Flash Preview avaient vu les solutions de référence lors de la formation. Tous les trois les avaient vus.

Avec juste un ID de tâche et un bref indice, chaque modèle pourrait reproduire le correctif de code exact de la mémoire, y compris les noms de variables et les commentaires en ligne qui n'apparaissent nulle part dans la description du problème. Dans un cas, les journaux de chaîne de pensée GPT-5.2 ont montré que le modèle estimait qu'un paramètre spécifique devait avoir été « ajouté autour de Django 4.1 », un détail que l'on trouve uniquement dans les notes de version de Django, et non dans la description de la tâche. Il répondait à une question dont il avait déjà vu la réponse.

OpenAI recommande désormais SWE-bench Pro, une nouvelle référence de Scale AI qui utilise des bases de code et des licences plus diversifiées qui réduisent l'exposition aux données d'entraînement. La baisse des performances est frappante : les modèles qui dépassaient les 70 % dans l'ancien benchmark Verified obtiennent un score d'environ 23 % dans la division publique de SWE-bench Pro, et encore moins dans leurs tâches privées.

Dans le classement public actuel du SWE-bench Verified, OpenAI est loin du podium de référence. Supprimer un point de référence sur lequel vous perdez et en approuver un où tout le monde commence à 23 % réinitialise le tableau de bord à un moment opportun et rend les affirmations des concurrents moins impressionnantes.

Ceci est particulièrement pertinent si l’on considère que la nouvelle version très attendue de DeepSeek surpasserait ou se rapprocherait extrêmement des modèles d’IA américains, en particulier dans les tâches d’agent et de codage, avec un modèle gratuit et open source. Ce modèle pourrait être publié d’ici quelques jours, et SWE-bench Verified pourrait être une mesure clé pour mesurer sa qualité.

OpenAI a déclaré qu'elle développait des évaluations d'auteurs privés qui ne seraient pas publiées avant les tests, en soulignant son projet GDPVal, dans lequel des experts du domaine rédigent des tâches originales évaluées par des évaluateurs humains formés.

Le problème des benchmarks n’est pas nouveau, ni exclusif au codage. Les laboratoires d'IA ont procédé à plusieurs évaluations, chacune utile jusqu'à ce que les modèles soient entraînés avec eux ou jusqu'à ce que les tâches s'avèrent trop spécifiques.

Ce qui rend ce cas remarquable, cependant, c'est qu'OpenAI a promu SWE-bench Verified, l'a réparti sur plusieurs versions de modèles et documente désormais publiquement le degré d'échec de celui-ci, montrant même comment son propre modèle l'a trompé.

Trezor One – Portefeuille Matériel de Crypto-Monnaie – Le Stockage à Froid Le Plus Fiable pour Bitcoin, Ethereum, ERC20 et Bien d’autres (Noire)