Article en référence: https://www.reddit.com/r/LocalLLaMA/comments/1kxybgo/deepseek_r11_aider_polyglot_score/

Récapitulatif factuel

DeepSeek vient de sortir discrètement la version R1.1 de son modèle d’intelligence artificielle, et les résultats sont impressionnants. Pour comprendre l’ampleur de cette amélioration, il faut d’abord expliquer ce qu’est le benchmark Aider Polyglot.

Aider est un outil qui mesure la capacité des IA à modifier du code informatique dans différents langages de programmation. Le test “polyglot” signifie qu’il évalue la performance sur plusieurs langages à la fois. Le score “pass@2” indique le pourcentage de problèmes résolus correctement en donnant deux tentatives au modèle, tandis que “pass@1” ne donne qu’une seule chance.

DeepSeek R1.1 a obtenu un score de 70,7% en pass@2, égalant Claude Opus 4, considéré comme l’un des meilleurs modèles du marché. C’est une amélioration spectaculaire par rapport à la version précédente R1 qui n’atteignait que 56,9%. Cependant, le score pass@1 reste faible à 35,6%, similaire à d’autres modèles concurrents.

Le coût d’utilisation varie énormément selon le moment : 3,05$ en heures creuses contre 12,20$ aux heures de pointe. La vitesse pose également problème : chaque test prend en moyenne 566 secondes, soit plus de 10 fois plus lent que Claude Opus 4 qui ne prend que 44 secondes par cas.

Pour faire fonctionner ce modèle localement, il faudrait un équipement très coûteux, comme un Mac Studio avec 512 Go de RAM. La plupart des utilisateurs passent donc par des fournisseurs d’API comme OpenRouter.

Point de vue neutre

Cette performance de DeepSeek R1.1 révèle une réalité nuancée du développement actuel de l’IA. D’un côté, nous assistons à une démocratisation remarquable : une entreprise chinoise rivalise désormais avec les géants américains sur des tâches complexes de programmation. De l’autre, les limitations pratiques restent importantes.

La différence entre les scores pass@1 et pass@2 soulève une question fondamentale : dans quelle mesure ces benchmarks reflètent-ils l’usage réel ? En programmation, un développeur n’a généralement qu’une chance de bien faire les choses du premier coup, surtout dans un environnement de production. Le fait que tous les modèles peinent en pass@1 suggère que nous sommes encore loin d’assistants de programmation vraiment fiables.

La lenteur de DeepSeek R1.1 illustre un compromis classique en informatique : performance versus vitesse. Ce modèle “réfléchit” plus longtemps pour obtenir de meilleurs résultats, mais cette approche limite son utilité pour des tâches interactives où la rapidité compte.

L’approche discrète de DeepSeek contraste avec le battage médiatique habituel du secteur. Pas de conférence de presse, pas de blog post détaillé, juste une mise à jour silencieuse qui bouleverse les classements. Cette sobriété pourrait refléter une maturité croissante du domaine, où les améliorations techniques parlent d’elles-mêmes.

Exemple

Imaginez que vous organisez un concours de cuisine où les participants doivent préparer un plat complexe. DeepSeek R1.1, c’est comme ce chef extraordinairement talentueux qui arrive à créer des plats dignes d’un restaurant étoilé, mais qui prend trois heures là où les autres mettent vingt minutes.

Claude Opus 4, c’est le chef rapide et efficace qui sort un excellent plat en un temps record. DeepSeek R1.1, lui, reste dans sa cuisine à réfléchir, goûter, ajuster, recommencer… et finalement présente quelque chose d’aussi bon, mais quand les clients sont déjà partis !

Et puis il y a cette histoire de “pass@1” versus “pass@2”. C’est comme si on disait au chef : “Vous avez droit à deux essais pour réussir votre plat.” Dans la vraie vie, quand vous cuisinez pour des invités, vous n’avez qu’une chance. Si votre soufflé rate, vous ne pouvez pas dire : “Attendez, j’en refais un autre !”

DeepSeek, c’est aussi cette entreprise mystérieuse qui ne fait jamais de publicité. Imaginez un restaurant sans enseigne, sans site web, sans critique gastronomique, mais où les chefs du monde entier viennent discrètement goûter les plats en se demandant : “Mais comment font-ils ça ?”

Point de vue optimiste

Nous assistons à un moment historique ! DeepSeek R1.1 prouve que l’innovation en IA n’est plus l’apanage exclusif de quelques géants technologiques. Cette démocratisation va accélérer exponentiellement le progrès dans le domaine.

La performance égale à Claude Opus 4 à une fraction du coût de développement annonce une révolution économique. Bientôt, des modèles de cette qualité seront accessibles à toutes les entreprises, pas seulement aux GAFAM. Imaginez l’explosion de créativité et d’innovation quand chaque startup aura accès à des outils de programmation de niveau expert !

La lenteur actuelle n’est qu’un problème temporaire. L’histoire de l’informatique nous enseigne que ce qui est lent aujourd’hui devient rapide demain. Les premiers ordinateurs occupaient des pièces entières ; aujourd’hui, nous avons plus de puissance dans nos poches. DeepSeek R1.1 trace la voie vers des assistants de programmation qui révolutionneront complètement notre façon de créer des logiciels.

Le fait que le modèle “réfléchisse” plus longtemps est en réalité un avantage déguisé. Cette approche de raisonnement approfondi pourrait résoudre des problèmes complexes que les modèles rapides ne peuvent pas gérer. Nous nous dirigeons vers une IA qui ne se contente pas de répondre vite, mais qui réfléchit vraiment.

L’approche discrète de DeepSeek montre une maturité remarquable : laisser le travail parler plutôt que le marketing. Cette philosophie “actions avant les mots” pourrait inspirer toute l’industrie à se concentrer sur l’innovation plutôt que sur la communication.

Point de vue pessimiste

Cette performance de DeepSeek R1.1 masque des problèmes structurels inquiétants. Le score pass@1 catastrophique de 35,6% révèle que même les meilleurs modèles actuels échouent deux fois sur trois au premier essai. Pour des applications critiques, cette fiabilité est inacceptable.

La lenteur extrême du modèle (10 fois plus lent que Claude) le rend pratiquement inutilisable pour la plupart des cas d’usage réels. Dans un monde où la productivité compte, attendre 10 minutes pour une réponse qui arrive en 1 minute ailleurs n’est pas viable. Cette lenteur suggère que l’approche de “raisonnement” de DeepSeek pourrait être une impasse technologique.

Le coût variable (de 3$ à 12$ selon l’heure) révèle une infrastructure instable et imprévisible. Comment planifier un budget ou une stratégie d’entreprise avec de telles fluctuations ? Cette volatilité indique que DeepSeek lutte pour gérer la demande, ce qui soulève des questions sur leur capacité à scaler.

L’opacité totale de DeepSeek est préoccupante. Aucune transparence sur leurs méthodes, leur financement, ou même l’identité de leurs dirigeants. Dans un domaine aussi sensible que l’IA, cette absence de responsabilité pose des risques géopolitiques et éthiques majeurs.

Enfin, le fait que tous les modèles peinent en pass@1 suggère que nous avons atteint un plateau technologique. Peut-être que l’approche actuelle de l’IA générative a des limites fondamentales que nous refusons d’admettre, et que ces améliorations marginales masquent l’absence de véritables percées.