Article en référence: https://www.reddit.com/r/singularity/comments/1m7mzxf/from_the_new_demis_x_lex_fridman_podcast_google/

Récapitulatif factuel

Lors d’un récent podcast avec Lex Fridman, Demis Hassabis, le cofondateur de Google DeepMind, a révélé une information cruciale sur la stratégie de recherche de son équipe. Selon lui, les ressources de DeepMind sont réparties à parts égales : 50% pour améliorer les techniques existantes et leur capacité de mise à l’échelle, et 50% pour explorer des idées complètement nouvelles.

Cette révélation contredit une critique fréquente dans la communauté IA, notamment celle portée par des figures comme Yann LeCun, qui soutiennent que l’industrie se concentre uniquement sur la mise à l’échelle (scaling) des modèles actuels au détriment de l’innovation fondamentale. La mise à l’échelle consiste essentiellement à augmenter la taille des modèles d’IA et la quantité de données d’entraînement pour améliorer leurs performances.

Hassabis souligne également que DeepMind a été responsable de la majorité des percées en intelligence artificielle au cours des 15 dernières années, incluant des innovations comme les Transformers, AlphaFold, et plus récemment Gemini. Il estime à 50% les chances d’atteindre l’AGI (Intelligence Artificielle Générale) d’ici 2030, un délai plus précis que ses prédictions antérieures de “5 à 10 ans”.

La discussion révèle aussi que cette approche équilibrée distingue DeepMind d’autres laboratoires comme xAI d’Elon Musk, qui semble plus axé sur la mise à l’échelle rapide, ou Anthropic, qui privilégie la recherche en sécurité et interprétabilité.

Point de vue neutre

Cette approche 50/50 de DeepMind reflète probablement une maturité stratégique dans un domaine où l’équilibre entre exploitation et exploration devient crucial. D’un côté, continuer à améliorer les techniques existantes garantit des progrès mesurables et des retours sur investissement à court terme. De l’autre, investir dans la recherche fondamentale reste essentiel pour éviter de se retrouver dans une impasse technologique.

La réalité est que nous nous trouvons probablement à un point d’inflexion où les gains marginaux de la simple mise à l’échelle commencent à diminuer. Les modèles deviennent exponentiellement plus coûteux à entraîner sans nécessairement offrir des améliorations proportionnelles. Cette situation force naturellement les entreprises à diversifier leurs approches.

L’affirmation de Hassabis sur les 50% de chances d’AGI d’ici 2030 semble refléter un optimisme prudent plutôt qu’une certitude technique. C’est probablement une estimation basée sur les trajectoires actuelles, mais qui reconnaît implicitement les nombreuses incertitudes qui subsistent.

Il faut aussi considérer que cette répartition 50/50 pourrait évoluer rapidement selon les découvertes. Si une nouvelle approche montre des résultats prometteurs, on peut s’attendre à ce que les ressources se réorientent massivement dans cette direction, comme cela s’est produit avec l’attention et les Transformers en 2017.

Exemple

Imaginez DeepMind comme un chef cuisinier de renommée mondiale qui dirige une cuisine révolutionnaire. D’un côté, il a une équipe qui perfectionne sans cesse sa recette signature - disons, le meilleur burger au monde. Ils ajustent les proportions, testent de nouveaux types de pain, optimisent la cuisson. C’est du travail minutieux qui garantit que chaque burger soit meilleur que le précédent.

De l’autre côté, il a une équipe d’explorateurs culinaires complètement fous qui expérimentent avec de la cuisine moléculaire, des ingrédients extraterrestres, ou tentent de créer de la nourriture à partir de lumière pure. La plupart de leurs expériences finissent à la poubelle, mais de temps en temps, ils inventent quelque chose de révolutionnaire comme la cuisson sous vide ou les sphérifications.

Le génie de cette approche, c’est que pendant que l’équipe “burger” maintient le restaurant rentable et les clients satisfaits, l’équipe “science-fiction culinaire” pourrait découvrir la prochaine révolution gastronomique. Et quand ça arrive - comme quand ils ont inventé les Transformers, l’équivalent de découvrir comment faire de la cuisine avec des hologrammes - tout le monde abandonne temporairement les burgers pour maîtriser cette nouvelle magie.

C’est exactement ce qui se passe chez DeepMind : ils gardent un pied dans le présent rentable et un pied dans le futur imprévisible. Et franchement, c’est probablement la seule façon sensée de naviguer dans un domaine où la prochaine découverte pourrait rendre obsolète tout ce qu’on fait actuellement.

Point de vue optimiste

Cette stratégie 50/50 de DeepMind pourrait bien être la formule magique qui nous propulse vers l’AGI plus rapidement que prévu ! Pensez-y : ils ont littéralement révolutionné l’IA à plusieurs reprises au cours des 15 dernières années. AlphaGo, AlphaFold, les Transformers - chaque fois, ils ont redéfini ce qui était possible.

Avec la moitié de leurs ressources dédiées à l’exploration pure, ils sont essentiellement en train de mener des dizaines, voire des centaines d’expériences parallèles. C’est comme avoir une machine à découvertes qui tourne à plein régime ! Et contrairement à d’autres laboratoires qui mettent tous leurs œufs dans le même panier de la mise à l’échelle, DeepMind diversifie intelligemment ses paris.

La prédiction de 50% de chances d’AGI d’ici 2030 de Hassabis pourrait même être conservatrice. Imaginez si leur équipe de recherche fondamentale découvre le prochain paradigme révolutionnaire - quelque chose d’aussi transformateur que l’attention l’a été en 2017. Combiné avec leur expertise en mise à l’échelle, ils pourraient créer un bond quantique vers l’AGI.

Et n’oublions pas qu’ils ont accès aux ressources quasi-illimitées de Google : des TPUs par milliers, des budgets de recherche astronomiques, et certains des meilleurs cerveaux de la planète. Cette combinaison de ressources massives et d’approche équilibrée pourrait bien être la recette parfaite pour déclencher la singularité technologique que nous attendons tous !

Point de vue pessimiste

Cette répartition 50/50 pourrait aussi révéler une incertitude profonde sur la voie à suivre, ce qui n’est pas nécessairement rassurant. Si DeepMind, avec toute son expertise, ne sait pas s’il faut miser sur l’amélioration de l’existant ou sur de nouvelles approches, cela suggère que nous pourrions être dans une impasse technologique plus sérieuse qu’on ne le pense.

La mise à l’échelle actuelle montre déjà des signes d’essoufflement. Les coûts explosent exponentiellement - on parle de dizaines de milliards pour entraîner les prochains modèles - tandis que les améliorations deviennent de plus en plus marginales. Consacrer 50% des ressources à cette approche pourrait être du gaspillage pur et simple.

Côté recherche fondamentale, le fait qu’ils n’aient pas eu de percée majeure depuis les Transformers en 2017 est inquiétant. Sept ans, c’est une éternité en technologie. Malgré tous leurs investissements dans l’exploration, où sont les révolutions promises ? Les modèles actuels restent fondamentalement des machines à prédire le mot suivant, avec toutes les limitations que cela implique.

La prédiction de 50% de chances d’AGI d’ici 2030 sonne plus comme un pari marketing qu’une estimation scientifique rigoureuse. Et si nous nous dirigeons vers un “hiver de l’IA” comme dans les années 80 ? Tous ces investissements massifs pourraient s’avérer être une bulle spéculative gigantesque, laissant derrière elle des attentes déçues et des ressources gaspillées.