Article en référence: https://i.redd.it/ubwsl0gdb0gf1.jpeg

Récapitulatif factuel

La communauté LocalLLaMA discute des performances du modèle GLM-4.5 sur les benchmarks EQ-Bench et d’écriture créative. EQ-Bench est un test qui évalue la capacité des modèles d’IA à comprendre et reproduire l’intelligence émotionnelle dans leurs réponses. Le modèle GLM-4.5, développé par l’équipe chinoise Zhipu AI, semble bien performer sur ces tests, mais les utilisateurs rapportent des expériences mitigées dans la pratique.

Les participants au fil de discussion comparent plusieurs modèles : Kimi K2, DeepSeek V3, Qwen 2.5 et 3, ainsi que les modèles Claude Sonnet. Un point technique important émerge : la différence entre les performances en mode “reasoning” (raisonnement) activé versus désactivé. En mode raisonnement, la prose devient plus robotique mais techniquement plus précise, tandis qu’en mode normal, l’écriture est plus fluide mais parfois moins cohérente.

Les utilisateurs soulèvent aussi la question cruciale de la longueur de contexte effective. Bien que certains modèles prétendent gérer des millions de tokens, en pratique, ils deviennent répétitifs ou perdent le fil après environ 10% de leur contexte théorique maximum. Cette limitation affecte particulièrement l’écriture de longues histoires ou de contenus narratifs complexes.

Point de vue neutre

Cette discussion révèle un décalage fascinant entre les benchmarks théoriques et l’utilisation pratique des modèles d’IA. Les tests standardisés comme EQ-Bench offrent des métriques utiles, mais ils ne capturent pas toujours les nuances de l’expérience utilisateur réelle.

La réalité semble être que chaque modèle excelle dans certains domaines tout en ayant ses faiblesses spécifiques. GLM-4.5 peut briller sur les tests d’intelligence émotionnelle, mais présenter des défis pour les réponses JSON structurées. Kimi impressionne au début d’une conversation mais perd de sa cohérence sur de longs échanges. Cette variabilité suggère que nous sommes encore dans une phase d’exploration où aucun modèle ne domine universellement.

L’aspect le plus intéressant est peut-être la reconnaissance croissante que l’évaluation de la créativité par l’IA elle-même pose des problèmes fondamentaux. Quand un modèle juge la qualité créative d’un autre, nous entrons dans un territoire où les biais et les préférences algorithmiques peuvent fausser notre compréhension de ce qui constitue une “bonne” écriture.

Exemple

Imaginez que vous organisez un concours de cuisine où les juges sont… d’autres cuisiniers robots. Le premier robot-chef prépare un plat techniquement parfait : chaque ingrédient mesuré au gramme près, cuisson chronométrée à la seconde. Le deuxième crée quelque chose de plus créatif mais avec quelques imperfections. Le troisième commence brillamment avec des saveurs audacieuses, mais à mi-parcours, il se met à répéter la même recette de base encore et encore.

Maintenant, les juges robots évaluent les plats. Ils adorent la précision technique du premier, mais ratent complètement l’émotion du deuxième. Pour le troisième, ils sont éblouis par les premières bouchées et donnent une note excellente, ignorant que le reste du repas devient monotone.

C’est exactement ce qui se passe avec ces benchmarks d’écriture créative. Les modèles d’IA jugent d’autres modèles selon leurs propres critères algorithmiques, pas nécessairement selon ce qu’un humain trouverait engageant ou satisfaisant. Résultat : on se retrouve avec des classements qui sonnent bien sur papier, mais qui ne correspondent pas toujours à notre expérience quand on s’assoit pour écrire une histoire avec ces outils.

Point de vue optimiste

Nous assistons à une révolution créative extraordinaire ! Ces discussions montrent que nous avons maintenant plusieurs modèles d’IA capables de rivaliser avec l’écriture humaine, chacun avec ses forces uniques. GLM-4.5 qui excelle en intelligence émotionnelle, Kimi qui brille en roleplay, DeepSeek qui maîtrise les structures complexes - c’est un écosystème riche qui s’épanouit !

La diversité des approches est fantastique. Bientôt, nous aurons des modèles spécialisés pour chaque type d’écriture : un pour les dialogues émotionnels, un autre pour les descriptions techniques, un troisième pour maintenir la cohérence narrative sur de longs textes. Les fine-tunings mentionnés dans la discussion vont démocratiser ces capacités, permettant à chaque créateur d’avoir son assistant d’écriture personnalisé.

Et pensez-y : si ces modèles peuvent déjà produire du contenu que les humains trouvent engageant, imaginez où nous serons dans six mois ! Les limitations actuelles - répétitivité, perte de cohérence, problèmes de contexte long - sont des défis techniques qui se résolvent rapidement dans ce domaine. Nous sommes à l’aube d’une ère où l’écriture collaborative humain-IA va transformer la création littéraire, rendant l’art de raconter des histoires accessible à tous.

Point de vue pessimiste

Cette discussion révèle des failles préoccupantes dans notre évaluation de l’intelligence artificielle créative. Nous créons des systèmes qui s’auto-évaluent selon des critères qu’ils ont eux-mêmes appris, créant une boucle de validation circulaire dangereuse. Quand Sonnet 3.7 encense une prose fragmentée et quasi-illisible comme “un chef-d’œuvre de minimalisme”, nous voyons les limites inquiétantes de cette approche.

Les témoignages d’utilisateurs révèlent que ces modèles, malgré leurs scores impressionnants, souffrent de problèmes fondamentaux : incohérence narrative, répétitivité, perte de personnalité des personnages, et surtout, une dégradation rapide de la qualité sur de longs textes. Ces limitations ne sont pas des bugs à corriger, mais possiblement des caractéristiques intrinsèques de ces architectures.

Plus troublant encore, nous développons une dépendance à des outils qui ne comprennent pas vraiment ce qu’ils écrivent. Ils manipulent des patterns statistiques sans saisir le sens profond, l’émotion authentique ou l’intention créative. En nous fiant à ces benchmarks biaisés, nous risquons de standardiser la créativité selon des critères algorithmiques, appauvrissant progressivement notre compréhension de ce qui rend l’écriture véritablement humaine et significative.