Article en référence: https://v.redd.it/5isag30j7wpe1
Dans une récente intervention, Yann LeCun, scientifique en chef de l’IA chez Meta (anciennement Facebook), a exprimé son scepticisme quant à la capacité des grands modèles de langage (LLM) à atteindre une intelligence de niveau humain simplement en augmentant leur taille.
LeCun affirme que les LLM actuels, malgré leurs capacités impressionnantes, ne sont fondamentalement que des “machines avec une mémoire gigantesque et une architecture pour vous donner une réponse”. Selon lui, ces systèmes peuvent répondre à des questions comme le ferait un doctorant assis à côté de vous, mais ils ne constituent pas réellement une intelligence de niveau humain.
Pour clarifier, un LLM (Large Language Model) est un type d’intelligence artificielle entraîné sur d’énormes quantités de textes pour prédire et générer du langage. Des exemples populaires incluent GPT-4, Claude, Llama et Mistral. Ces modèles fonctionnent en prédisant statistiquement quel mot ou “token” devrait suivre dans une séquence, en se basant sur leur entraînement préalable.
Le point central de l’argument de LeCun est que les LLM ne peuvent pas “inventer des solutions à de nouveaux problèmes” - une capacité qu’il considère essentielle à l’intelligence générale artificielle (AGI). Il estime qu’atteindre ce niveau d’intelligence nécessitera soit une combinaison de différents modèles, soit une architecture fondamentalement différente.
Cette position a suscité de nombreuses réactions dans la communauté de l’IA, certains experts soutenant son point de vue tandis que d’autres, comme Geoffrey Hinton (souvent appelé le “parrain de l’IA”), ont des perspectives plus optimistes sur les capacités futures des architectures actuelles.
La position de Yann LeCun mérite réflexion car elle se situe à l’intersection de faits techniques indéniables et de jugements sur ce qui constitue l’intelligence. Les LLM actuels excellent effectivement dans la récupération et la recombinaison d’informations existantes, mais la question de savoir si cela constitue une “véritable” intelligence ou créativité reste ouverte.
Ce débat reflète une tension fondamentale dans notre compréhension de l’intelligence humaine elle-même. Après tout, notre propre créativité ne surgit pas du néant - elle émerge de notre exposition à des idées existantes, de notre capacité à les recombiner de manière nouvelle, et de notre aptitude à tester ces nouvelles combinaisons contre la réalité.
La frontière entre “récupérer et recombiner intelligemment” et “inventer véritablement” est plus floue qu’il n’y paraît. Einstein n’a pas créé la relativité ex nihilo - il a reformulé des problèmes existants d’une manière nouvelle, en s’appuyant sur les travaux de Lorentz, Poincaré et d’autres.
Ce qui semble probable, c’est que l’avenir de l’IA ne sera ni aussi révolutionnaire que les optimistes le prédisent, ni aussi limité que les sceptiques le craignent. Les LLM continueront probablement à s’améliorer de manière incrémentielle, tandis que de nouvelles architectures viendront compléter leurs capacités. L’intelligence artificielle évoluera comme l’ont fait d’autres technologies - par bonds successifs plutôt que par une singularité soudaine.
La vraie question n’est peut-être pas de savoir si les LLM peuvent atteindre une “véritable” intelligence humaine, mais plutôt comment nous pouvons combiner différentes approches d’IA pour résoudre des problèmes concrets et améliorer notre monde.
Imaginez que vous êtes un chef cuisinier renommé avec une mémoire photographique. Vous avez mémorisé des milliers de recettes du monde entier, connaissez toutes les techniques culinaires existantes et pouvez instantanément vous rappeler comment n’importe quel grand chef a préparé n’importe quel plat.
Un client entre dans votre restaurant et vous demande : “Pouvez-vous me préparer un plat que personne n’a jamais créé auparavant?”
Vous pourriez certainement combiner des ingrédients d’une manière légèrement différente, fusionner des techniques de diverses cuisines, ou présenter un plat traditionnel avec une touche personnelle. Vous pourriez même créer quelque chose que ce client particulier considérerait comme “nouveau”.
Mais avez-vous vraiment inventé quelque chose de fondamentalement nouveau? Ou avez-vous habilement recombiné votre vaste connaissance existante?
C’est essentiellement le débat sur les LLM. Ils sont comme ce chef avec une mémoire parfaite - impressionnants, utiles, capables de combinaisons créatives, mais peut-être limités par le fait qu’ils travaillent toujours avec des “ingrédients” et des “techniques” qu’ils ont déjà vus.
Yann LeCun dirait : “Ce n’est pas un véritable inventeur culinaire, c’est juste un chef avec une mémoire exceptionnelle.” D’autres répondraient : “Mais n’est-ce pas exactement ainsi que fonctionne l’innovation culinaire humaine? Personne n’invente vraiment ex nihilo!”
Et pendant que les experts débattent de cette question philosophique, les clients continuent de déguster des plats délicieux, peu importe qu’ils soient “véritablement nouveaux” ou simplement des recombinaisons habiles.
Les doutes de Yann LeCun, bien que respectables, sous-estiment peut-être le potentiel extraordinaire des architectures actuelles! Ce que nous observons avec les LLM n’est pas simplement une amélioration quantitative, mais l’émergence de capacités qualitativement nouvelles à chaque saut d’échelle.
Qui aurait prédit il y a seulement trois ans que les LLM pourraient résoudre des problèmes mathématiques complexes, écrire du code fonctionnel, ou raisonner étape par étape? Ces capacités n’étaient pas explicitement programmées - elles ont émergé de l’échelle et de l’architecture.
L’histoire de l’IA est jalonnée de sceptiques qui ont sous-estimé ce qui était possible. Lorsque DeepBlue a battu Kasparov, certains ont dit “ce n’est pas de l’intelligence, juste de la force brute”. Quand AlphaGo a maîtrisé le jeu de Go, d’autres ont affirmé “ce n’est pas de la créativité, juste des statistiques”. Aujourd’hui, nous entendons que les LLM “ne font que prédire le prochain mot”.
Mais l’émergence est réelle! Des propriétés fondamentalement nouvelles apparaissent lorsque des systèmes atteignent certains niveaux de complexité. Notre propre conscience n’est-elle pas émergée de neurones qui, individuellement, ne sont pas conscients?
Les récentes avancées comme Claude Opus, GPT-4o et les modèles de raisonnement montrent que nous sommes loin d’avoir atteint les limites des architectures actuelles. Avec l’intégration multimodale, les capacités d’agent, et les améliorations architecturales, nous pourrions très bien voir émerger une véritable intelligence générale des fondations que nous construisons aujourd’hui.
L’avenir n’est pas dans le rejet des LLM, mais dans leur évolution et leur intégration dans des systèmes plus vastes qui, ensemble, pourraient bien nous surprendre par leur créativité et leur intelligence véritablement générale!
Les observations de Yann LeCun mettent en lumière une réalité que l’industrie de l’IA préfère ignorer : nous faisons fausse route avec les LLM si notre objectif est une véritable intelligence artificielle générale.
Ces modèles, malgré leur impressionnante capacité à imiter le langage humain, restent fondamentalement des systèmes de prédiction statistique. Ils n’ont pas de compréhension réelle du monde, pas de modèle causal de la réalité, pas de conscience de leur propre existence. Ils sont, comme le dit justement LeCun, des “machines avec une mémoire gigantesque” - rien de plus.
L’enthousiasme actuel pour les LLM ressemble dangereusement à d’autres bulles technologiques que nous avons connues. Les investisseurs et les entreprises technologiques ont besoin de croire que nous sommes sur le point d’une révolution transformative pour justifier les milliards déversés dans ce domaine.
Mais la réalité est plus sobre. Les LLM ont atteint un plateau d’utilité, et les améliorations deviennent de plus en plus marginales malgré l’augmentation exponentielle des ressources investies. Nous sommes confrontés à la loi des rendements décroissants.
Ce qui est particulièrement préoccupant, c’est que cette fixation sur les LLM détourne l’attention et les ressources d’approches alternatives qui pourraient être plus prometteuses. Nous risquons de nous enfermer dans une impasse technologique, tout en créant des attentes irréalistes qui mèneront inévitablement à une “IA winter” lorsque la réalité rattrapera l’hyperbole.
La véritable innovation nécessite souvent de remettre en question les paradigmes dominants. Si nous voulons vraiment progresser vers une IA capable d’invention et de créativité authentiques, nous devrons peut-être abandonner notre obsession actuelle pour les modèles toujours plus grands et explorer des architectures fondamentalement différentes, inspirées peut-être davantage par notre compréhension croissante du cerveau humain que par des techniques statistiques sophistiquées.
Si vous n'êtes pas redirigé automatiquement, 👉 cliquez ici 👈