La 'guerre des benchmarks' révèle une vérité gênante sur la mesure des IA
Quand OpenAI annonce que GPT-5.6 Sol atteint 38,3 % sur ARC-AGI-3 contre 30,2 % pour Claude Opus 5 d'Anthropic, la nouvelle fait l'effet d'une bombe. Mais derrière ce chiffre se cache une question bien plus importante pour les développeurs : que mesure-t-on vraiment, et dans quelles conditions ? Cet épisode illustre parfaitement pourquoi les benchmarks IA sont devenus un terrain de jeu aussi stratégique que technique.
ARC-AGI-3 : pourquoi ce benchmark est devenu la référence du raisonnement
ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence) est conçu par François Chollet pour évaluer la capacité de généralisation des modèles, c'est-à-dire leur aptitude à résoudre des problèmes nouveaux sans avoir été entraînés dessus. Là où des benchmarks comme MMLU ou HumanEval finissent par être saturés — les modèles les mémorisent plus qu'ils ne les résolvent —, ARC-AGI-3 résiste encore à l'optimisation brute.
Pour les développeurs qui construisent des agents IA, cette distinction est capitale. Un modèle qui excelle sur ARC-AGI démontre une forme de raisonnement adaptatif, qualité indispensable pour des agents confrontés à des situations imprévues en production. C'est pourquoi les éditeurs de modèles se battent désormais sur ce terrain.
Claude Opus 5 avait quadruplé le record précédent sur ce benchmark, ce qui avait marqué les esprits. OpenAI réplique maintenant avec GPT-5.6 Sol — mais avec une nuance de taille.
Le rôle critique des réglages API : quand le contexte fait le score
La performance de 38,3 % de GPT-5.6 Sol n'est pas obtenue avec les paramètres par défaut. OpenAI utilise deux réglages API supplémentaires disponibles dans son interface programmatique. C'est ici que le débat devient technique et philosophique.
François Chollet lui-même, co-fondateur de l'ARC Prize, a pris position publiquement (source : The Decoder) en distinguant deux catégories de configurations :
- Harnais sur-mesure : des configurations conçues spécifiquement pour exploiter la structure du benchmark. Celles-ci sont hors-jeu, car elles mesurent l'optimisation du test, pas les capacités réelles du modèle.
- Réglages API généraux : des paramètres disponibles à tous les utilisateurs de l'API, non développés pour ARC-AGI-3. Ceux-ci sont acceptables, à condition que les réglages et les coûts associés soient clairement documentés.
Chollet reconnaît même qu'ARC Prize avait involontairement désavantagé OpenAI dans ses propres mesures, et salue le fait qu'OpenAI 'commence à trouver la bonne réponse'.
Pour un développeur PHP/Symfony qui intègre des appels LLM dans ses applications, cette distinction est loin d'être anecdotique. Elle rappelle que les performances d'un modèle dépendent fortement de la façon dont vous l'appelez : température, budget de tokens, mode de raisonnement étendu, format de sortie... Autant de leviers qui peuvent faire varier les résultats de façon spectaculaire.
Ce que cela implique concrètement pour vos intégrations
Cette 'guerre des benchmarks' entre OpenAI et Anthropic soulève plusieurs enseignements pratiques.
Méfiez-vous des comparaisons à périmètre variable
Comparer deux modèles sur la base de scores publiés sans connaître les conditions exactes d'évaluation revient à comparer des temps de chargement de page sans préciser le réseau, le cache ou le matériel. Avant de choisir un modèle pour votre use case, reproduisez le benchmark dans votre contexte : vos prompts, votre format de données, votre contrainte de coût.
Les réglages API sont un levier de performance sous-exploité
Si deux paramètres supplémentaires permettent à GPT-5.6 Sol de passer de scores inférieurs à 38,3 % sur un benchmark de raisonnement exigeant, imaginez l'impact sur vos propres cas d'usage. Des paramètres comme le mode de raisonnement étendu (disponible chez OpenAI et Anthropic), le budget de tokens de réflexion, ou le format de compaction des réponses peuvent transformer radicalement la qualité des sorties.
La transparence des coûts est non-négociable
Chollet pose une condition juste : les réglages et les coûts doivent être clairement rapportés. Un score impressionnant obtenu avec dix fois plus de tokens de réflexion n'est pas comparable à un score sobre. Pour vos projets, intégrez systématiquement la dimension coût dans votre évaluation : un modèle légèrement moins performant mais trois fois moins cher peut être le bon choix à l'échelle.
ARC-AGI comme proxy pour les agents autonomes
Si vous construisez des agents IA — des workflows où le modèle doit prendre des décisions séquentielles, utiliser des outils, ou résoudre des problèmes ouverts —, les performances sur ARC-AGI-3 sont un signal pertinent. Ce benchmark mesure précisément la capacité à raisonner sur des situations nouvelles, ce qui est le cœur du défi agentique.
Conclusion : les benchmarks sont des outils, pas des verdicts
L'épisode GPT-5.6 Sol vs Claude Opus 5 sur ARC-AGI-3 est un rappel salutaire : les chiffres bruts ne suffisent pas. La méthodologie, les conditions d'API, les coûts et la reproductibilité sont tout aussi importants que le score final.
Pour les équipes qui font de l'ingénierie IA en production, la bonne posture est de traiter les benchmarks publics comme des signaux directionnels, puis de conduire leurs propres évaluations sur des données et des scénarios représentatifs de leur métier. C'est à cette condition que le choix du modèle devient une décision technique solide, et non une décision marketing.
Source originale : The Decoder, 30 juillet 2026
