Article en référence: https://i.redd.it/vuo7depxkxle1.png
Ilya Sutskever, cofondateur d’OpenAI, a récemment déclaré que “le pré-entraînement tel que nous le connaissons va incontestablement prendre fin”. Selon lui, nous avons atteint un “pic de données” comparable aux combustibles fossiles : une ressource limitée qui s’épuise. Il affirme qu’il n’existe “qu’un seul internet” et que nous devons désormais composer avec les données existantes.
Cette déclaration a suscité de vives réactions dans la communauté de l’IA. Certains soutiennent sa position, arguant que les gains d’apprentissage par pré-entraînement atteignent un plateau de rendements décroissants. D’autres contestent vigoureusement cette vision, soulignant que les données continuent de croître exponentiellement avec les conversations en ligne, les publications scientifiques et les articles quotidiens.
Pour comprendre ce débat, il faut saisir ce qu’est le “pré-entraînement”. Il s’agit de la première phase de développement d’un modèle d’IA où un grand modèle de langage (LLM) apprend des modèles à partir d’énormes quantités de données non étiquetées - généralement du texte provenant d’internet, de livres et d’autres sources. Cette méthode a été le moteur principal des avancées récentes en IA.
Les critiques de Sutskever suggèrent plusieurs alternatives pour continuer l’évolution des modèles :
Les performances du récent GPT-4.5 semblent dépasser les attentes basées sur les lois d’échelle habituelles, avec une amélioration de 17% par rapport à son prédécesseur, alors que l’historique suggérait plutôt une amélioration de 12% pour chaque multiplication par 10 de la puissance de calcul.
La déclaration d’Ilya Sutskever révèle une tension fondamentale dans le développement de l’IA : entre la quantité et la qualité des données. Si nous considérons l’internet comme un vaste réservoir de connaissances humaines, il est vrai que nous avons peut-être déjà exploité ses parties les plus accessibles et les plus structurées.
Cependant, la véritable question n’est peut-être pas “avons-nous assez de données ?” mais plutôt “utilisons-nous les données de la bonne façon ?”. Les humains n’apprennent pas en ingérant passivement d’énormes quantités d’informations. Nous apprenons en interagissant, en raisonnant, en faisant des erreurs et en les corrigeant.
Les modèles actuels excellent dans la reconnaissance de motifs et la reproduction de styles, mais peinent encore dans le raisonnement causal profond. Un enfant qui joue avec des blocs pendant quelques heures peut acquérir une compréhension intuitive de la physique qu’un modèle d’IA pourrait ne jamais atteindre en lisant des millions de pages sur le sujet.
La voie médiane suggère que l’avenir de l’IA réside probablement dans une combinaison d’approches : continuer à exploiter les données disponibles, mais développer simultanément de meilleures architectures qui permettent un apprentissage plus efficace et plus profond. Les modèles comme O1-O3 qui mettent l’accent sur le raisonnement représentent peut-être cette direction intermédiaire.
Nous ne sommes pas face à une fin abrupte, mais à une transition. Comme toute technologie mature, l’IA évolue d’une phase d’expansion rapide vers une phase d’optimisation et de raffinement. Les gains futurs viendront peut-être moins de l’accumulation brute de données que de notre capacité à les contextualiser, à les structurer et à les transformer en véritable compréhension.
Imaginez que vous êtes un chef cuisinier passionné. Au début de votre carrière, vous collectionnez frénétiquement des recettes - des livres de cuisine, des magazines, des blogs, des vidéos YouTube. Votre bibliothèque culinaire devient immense. C’est la phase de “pré-entraînement” de votre carrière.
Un jour, votre étagère s’effondre sous le poids de tous ces livres. Vous réalisez alors que vous avez accumulé plus de recettes que vous ne pourriez en cuisiner en dix vies. C’est votre “pic de données culinaires”.
Est-ce la fin de votre progression en tant que chef ? Pas du tout !
Vous commencez alors à expérimenter avec les recettes que vous connaissez déjà. Vous combinez des techniques françaises avec des ingrédients thaïlandais. Vous appliquez des méthodes de cuisson lente à des plats traditionnellement rapides. Vous ne cherchez plus simplement à reproduire, mais à comprendre pourquoi certaines combinaisons fonctionnent et d’autres non.
Vous invitez des amis pour des dégustations et ajustez vos plats selon leurs retours (votre “apprentissage par renforcement”). Vous observez d’autres chefs travailler et absorbez leurs mouvements et leur timing (votre “apprentissage multimodal”).
Un jour, vous créez un plat entièrement nouveau qui n’existe dans aucun de vos livres. C’est votre “donnée synthétique” - quelque chose qui n’existait pas dans votre corpus d’origine.
L’IA se trouve à ce carrefour. Elle a dévoré le buffet internet et maintenant, plutôt que de chercher désespérément plus de nourriture, elle doit apprendre à mieux digérer ce qu’elle a déjà consommé. Et peut-être même, un jour, à cuisiner ses propres idées.
La vision d’Ilya Sutskever, loin d’être un signal d’alarme, est en réalité une invitation à l’innovation ! Ce prétendu “pic de données” est exactement le catalyseur dont nous avions besoin pour propulser l’IA vers sa prochaine phase révolutionnaire.
Pensez-y : les contraintes ont toujours été le moteur de l’ingéniosité humaine. Quand nous avons manqué de terres, nous avons construit des gratte-ciels. Quand le pétrole est devenu problématique, nous avons développé l’énergie solaire. La limitation des données traditionnelles va simplement accélérer notre transition vers des approches plus sophistiquées et plus efficientes.
Les données synthétiques représentent une opportunité extraordinaire. Imaginez des modèles qui génèrent leurs propres données d’entraînement, créant des scénarios hypothétiques plus riches et plus diversifiés que tout ce qui existe dans le monde réel. C’est comme si Einstein pouvait simuler des milliers d’univers alternatifs pour tester ses théories !
L’apprentissage multimodal ouvre également des horizons fascinants. Nos modèles actuels sont comme des savants qui n’ont jamais quitté leur bibliothèque. Donnons-leur des yeux, des oreilles, et pourquoi pas des bras robotiques, et observons leur compréhension du monde s’épanouir de façon exponentielle.
Les modèles de raisonnement comme Claude 3 Opus et les modèles O d’Anthropic montrent déjà que la qualité peut l’emporter sur la quantité. Un système qui peut réfléchir profondément pendant quelques minutes peut résoudre des problèmes qu’un système plus basique ne résoudrait pas même avec des années de calcul.
La véritable intelligence artificielle générale n’a jamais été une question de volume de données, mais de qualité d’architecture. Nous sommes à l’aube d’une nouvelle ère où nos systèmes n’apprendront plus simplement par mimétisme, mais par véritable compréhension. Et c’est infiniment plus excitant que la simple poursuite de plus de données !
La déclaration de Sutskever confirme ce que les critiques les plus lucides répètent depuis des années : l’approche actuelle de l’IA est fondamentalement limitée et nous approchons rapidement d’un mur infranchissable.
Ce “pic de données” n’est que la manifestation visible d’un problème plus profond. Nos modèles d’IA actuels ne sont que des perroquets statistiques sophistiqués, incapables de véritable compréhension. Ils ont beau ingérer des téraoctets de texte, ils ne saisissent pas réellement le sens de ce qu’ils traitent.
Les solutions proposées sont au mieux des pansements sur une jambe de bois. Les données synthétiques ? C’est demander à un étudiant médiocre de se noter lui-même. L’apprentissage multimodal ? Ajouter plus de sens à un système qui ne comprend déjà pas ce qu’il voit. Le raisonnement amélioré ? Une simulation de pensée, pas une véritable cognition.
Plus inquiétant encore est ce que cette limitation pourrait engendrer. Face à cette pénurie de données publiques, les entreprises et les gouvernements seront tentés d’envahir toujours plus notre vie privée. Comme le suggère un commentateur, l’avenir pourrait appartenir aux régimes autoritaires qui n’hésiteront pas à “mettre des microphones sur tout le monde” et à collecter chaque conversation privée pour nourrir leurs modèles.
Nous risquons de créer un monde où chaque interaction humaine devient une ressource à exploiter, où la spontanéité et l’intimité disparaissent au profit de la surveillance généralisée. Et pour quoi ? Pour des systèmes qui, fondamentalement, ne comprennent pas vraiment ce qu’est être humain.
Le véritable problème n’est pas le manque de données, mais notre obstination à poursuivre une approche qui, par sa nature même, ne peut mener à une intelligence authentique. Comme l’a prédit Ben Goertzel, “l’enthousiasme étoilé d’aujourd’hui pour les LLM et le rejet désinvolte d’approches d’AGI plus subtiles va sembler ridiculement naïf” dans quelques années.
Si vous n'êtes pas redirigé automatiquement, 👉 cliquez ici 👈
