Blog
Réflexions sur les systèmes d'IA, la culture de l'ingénierie et la construction de solutions efficaces.
J'ai soumis a Claude Fable 5 et GPT-5.6 Sol le meme probleme d'optimisation NP-difficile inedit, avec et sans leur mode /goal natif. Fable 5 est une bete ; /goal ne change pas la donne.
Le GLM-5 de Zhipu AI domine SWE-bench et LiveCodeBench. Je l'ai testé sur un problème d'optimisation NP-difficile inédit et 89 tâches de codage. Le meilleur cas est compétitif. Le cas typique ne l'est pas.
Plongée dans l'architecture de Codex, Gemini CLI, Mistral Vibe et OpenCode. Même modèle, écart de performance 2x — c'est le scaffolding qui compte. Mis à jour avec les résultats GLM-5 : chaque agent s'est amélioré de 38-54%, mais le classement reste le même.
Claude Code (Opus 4.6), Codex (GPT-5.3-Codex xhigh), Gemini CLI (Gemini-3-Pro-Preview) et Mistral (Devstral-2) s'attaquent à un problème d'optimisation de réseau fibre. Claude Code a battu ma solution C++ vieille de 8 ans de 62 points. Mis à jour avec les résultats GLM-5 sur deux frameworks d'agents et Terminal-Bench.
La boucle d'agent tient en ~50 lignes — le vrai travail, c'est l'isolation des utilisateurs, la persistance des sessions et les backends d'exécution. Leçons du développement d'omniagents, et comparaison avec OpenHands.
Nous avons benchmarké notre système RAG de production sur plusieurs modèles d'embedding, tailles de chunks, stratégies de découpage et modes de recherche. Les résultats contredisent la sagesse populaire.
Un benchmark dont le jeu de test est dans le futur ne peut figurer dans aucun jeu d'entraînement. Les modèles analysent des événements Polymarket en direct, s'engagent sur des probabilités, et sont notés sur les rendements et la calibration de Brier. Co-construit avec Aymeric Roucher.