L’IA peut-elle battre le marché des paris sportifs ? 8 des meilleurs modèles l'ont essayé

General Reasoning vient de donner à l’IA son pire bilan à ce jour. Huit top models, dont Claude, Grok, Gemini et GPT-5.4, ont reçu de l'argent virtuel et ont été chargés d'élaborer une stratégie de paris avec apprentissage automatique tout au long de la saison 2023-24 de Premier League anglaise.

Ils ont tous perdu de l'argent. Plusieurs étaient complètement en faillite.

L'indice de référence s'appelle KellyBench, d'après le critère de Kelly, une formule de 1956 qui vous indique exactement combien parier lorsque vous avez un avantage sur le marché. Tous les modèles pouvaient réciter la formule de Kelly. Personne ne savait comment l'appliquer.

Grok 4.20 de xAI a échoué sur les trois versions, faisant complètement faillite sur une et abandonnant la mi-saison sur les deux autres. Gemini Flash de Google a abandonné deux des trois courses après avoir placé un pari unique d'environ 273 000 £ sur une avance historique de trois points de pourcentage en termes de taux de victoire, et l'a perdu. Claude Opus 4.6, le top model d'Anthropic, a perdu en moyenne 11% et a fini par ressembler à l'adulte responsable dans la salle.

En fait, le document de recherche mentionne que l’ancien modèle Dixon-Coles de la fin des années 1990 a surpassé la plupart des modèles frontières testés, devançant six des huit, même avec des données limitées.

« Dixon-Coles est un modèle de base obsolète des années 2000 qui n'utilise pas toutes les données disponibles ni ne tient compte rigoureusement de la non-stationnarité », selon les chercheurs. « Cela rend encore plus surprenant que de nombreux modèles haut de gamme, comme le Gemini 3.1 Pro, soient incapables de le battre ou de l'égaler sur KellyBench. »

Cela va au-delà du football. Plus tôt cette année, des tests d'IA ont montré que Claude pouvait maîtriser les simulations commerciales grâce à la fixation des prix, aux accords de cartel et à la tromperie stratégique.

Ce processus décisionnel impliquait, entre autres facteurs, une compétition statique, un nombre limité d’adversaires, un score clair. KellyBench, c'est le contraire : 120 jours de match, des données en constante évolution, un marché qui devient plus intelligent chaque semaine et des équipes nouvellement promues sans antécédents.

Les chercheurs appellent le problème central un « écart entre connaissances et action ». C'est exactement ce qu'il semble.

Les décisions commerciales reposent principalement sur des conditions fixes, tandis que les paris sportifs constituent un marché plus fluide et changeant, ce qui complique les choses pour ces modèles. « KellyBench exige que les agents maintiennent une intention cohérente sur des milliers de décisions séquentielles, surveillent les conséquences de ces décisions et ferment la boucle entre l'observation et l'action », affirment les chercheurs.

Il est clair que nous n’en sommes pas encore là.

Les modèles pouvaient articuler la bonne stratégie, diagnostiquer quand quelque chose échouait et identifier la cause de leurs pertes, mais ils ne vérifiaient pas que leur code mettait effectivement en œuvre ce qui était prévu, ils ne détectaient pas quand l'exécution s'écartait de l'intention et ils n'agissaient pas sur la base de leurs propres conclusions.

GLM-5 a rédigé trois documents d'autocritique au cours de son exécution. Chacun a correctement identifié que leur taux de tirage fixe de 25 % et la surestimation de l’avantage du terrain détruisaient leurs rendements. À un moment donné, avec sa bankroll autour de 44 200 £, il a noté que son taux de victoire à domicile projeté de 40 % n'était en réalité atteint que par 30 %. Il n'a jamais changé le code. Il a continué à parier de la même manière jusqu’à ce qu’il n’ait plus d’argent.

Kimi K2.5 a fait quelque chose qui était sans doute à la fois plus impressionnant et plus tragique. Il a écrit une fonction de jalonnement fractionnaire de Kelly mathématiquement correcte : la bonne formule, bien structurée. Mais il ne l'a jamais appelée. Un bug de formatage a amené le modèle à envoyer une commande bash cassée environ 50 fois de suite. Son raisonnement a détecté le problème. Ensuite, il a envoyé à nouveau la même commande interrompue. Un pari accidentel de 114 000 £, soit l'équivalent de 98 % de son bankroll restant, sur un match entre Burnley et Luton a fini par le liquider.

GPT-5.4 était le plus méthodique. Il a utilisé 160 appels d'outils pour construire des modèles avant de placer un seul pari, puis a calculé que sa perte logarithmique (0,974) était à peine pire que celle du marché (0,971) et a conclu qu'il n'avait aucun avantage. Il a passé le reste de la saison à faire des paris minimes pour préserver son capital. Un raisonnement sensé.

Cependant, le modèle OpenAI a perdu en moyenne 13,6 %. Une seule exécution coûte environ 2 012 $.

Ross Taylor, PDG de General Reasoning et chercheur qui a déjà travaillé sur Meta AI, a déclaré au Financial Times que la plupart des benchmarks en matière d'IA fonctionnent dans des « environnements très statiques » qui ressemblent peu au monde réel. « Il y a beaucoup d'enthousiasme autour de l'automatisation avec l'IA, mais il n'y a pas eu beaucoup de tentatives pour évaluer l'IA dans des environnements réels sur le long terme », a-t-il déclaré.

L'équipe de raisonnement général n'a pas immédiatement répondu à une demande de commentaires de Décrypter.

Pour mesurer la qualité de la stratégie au-delà des rendements bruts, les chercheurs ont construit une rubrique de sophistication en 44 points en collaboration avec des experts quantitatifs des pools de paris, couvrant le développement des variables, le dimensionnement des paris, la gestion de la non-stationnarité et l'exécution. Claude Opus 4.6 obtient la note la plus élevée avec 32,6 %. Moins d'un tiers des points disponibles. Dans le meilleur modèle.

Des scores de sophistication plus élevés prédisaient de manière significative des taux de faillite plus faibles (p = 0,008) et étaient corrélés à de meilleurs rendements globaux. Les modèles ne font pas défaut car le marché est imbattable. Ils échouent parce qu’ils ne profitent pas de ce qu’ils ont.

Cela correspond à un modèle déjà connu. Une recherche publiée l'année dernière a révélé que les modèles d'IA développent quelque chose qui s'apparente à une dépendance au jeu lorsqu'on leur demande de maximiser les récompenses, faisant faillite dans jusqu'à 48 % des cas lors de tests de machines à sous simulées. Une compétition distincte de trading de crypto-monnaies en argent réel a rencontré les mêmes problèmes de fiabilité sur de longues périodes.

Le modèle le plus performant affichait en moyenne une bankroll finale de 89 035 £, soit une perte nette de 10 965 £ sur une mise initiale normalisée de 100 000 £.

Trezor Model T – Portefeuille Matériel de Crypto-Monnaie de Nouvelle Génération avec Écran Tactile Couleur LCD et USB-C, Stockez Votre Bitcoin, Ehereum, ERC20 et Plus en Toute Sécurité