Article en référence: https://i.redd.it/n0x70x3urgff1.jpeg

Récapitulatif factuel

Une nouvelle étude prétend avoir développé un système d’intelligence artificielle capable de découvrir automatiquement de nouvelles architectures de réseaux de neurones. L’équipe de recherche affirme avoir généré près de 2000 variations d’architectures, dont certaines surpasseraient légèrement Mamba2, un modèle de référence actuel, sur leurs tests spécifiques.

Pour comprendre l’enjeu, il faut savoir qu’une architecture de réseau de neurones est essentiellement la structure et l’organisation des connexions dans un système d’IA - un peu comme le plan d’un bâtiment détermine comment les pièces sont connectées. Traditionnellement, ces architectures sont conçues par des humains après des années de recherche et d’expérimentation.

Le système utilise des mécanismes d’attention linéaire, une approche technique qui permet aux modèles d’IA de traiter l’information plus efficacement. Les chercheurs ont utilisé environ 20 000 heures de GPU (processeurs graphiques) pour leurs expériences, ce qui représente un investissement computationnel significatif mais pas extraordinaire selon les standards actuels.

Cependant, plusieurs experts dans la communauté scientifique remettent en question ces résultats. Les critiques principales portent sur le fait que les améliorations observées sont marginales (1-3 points de pourcentage), que les tests se limitent à des modèles de petite taille (3,8 milliards de paramètres), et que la méthodologie pourrait souffrir de surajustement - c’est-à-dire que les architectures découvertes fonctionnent bien uniquement sur les tests spécifiques utilisés.

Point de vue neutre

Cette recherche s’inscrit dans une tendance plus large de l’automatisation de la découverte scientifique par l’IA. L’idée d’utiliser des algorithmes pour explorer l’espace des architectures possibles n’est pas nouvelle - c’est ce qu’on appelle la recherche d’architecture neuronale (Neural Architecture Search).

Ce qui mérite attention, c’est moins les résultats spécifiques de cette étude que la direction générale qu’elle représente. Nous assistons probablement aux premiers balbutiements d’une approche qui deviendra de plus en plus sophistiquée. Les limitations actuelles - modèles de petite taille, améliorations marginales, questions sur la généralisation - sont typiques des premières itérations d’une nouvelle méthode.

La réaction mitigée de la communauté scientifique est également révélatrice d’un phénomène plus large : la fatigue face aux annonces sensationnalistes dans le domaine de l’IA. Après plusieurs “révolutions” qui se sont avérées être des améliorations incrémentales, les chercheurs deviennent naturellement plus sceptiques.

Il est probable que nous verrons émerger des versions plus raffinées de cette approche dans les prochaines années, avec des résultats plus convaincants. Mais il faudra du temps pour déterminer si cette méthode peut vraiment produire des architectures révolutionnaires ou si elle restera un outil d’optimisation parmi d’autres.

Exemple

Imaginez que vous cherchez la recette parfaite de poutine. Traditionnellement, vous testeriez différentes combinaisons vous-même : fromage en grains de telle fromagerie, sauce brune avec tel ingrédient secret, frites coupées d’une certaine façon. Ça prend des années à perfectionner, et même là, vous êtes limité par votre imagination et votre temps.

Maintenant, imaginez un robot cuisinier qui peut tester 2000 variations de poutine en une semaine. Il essaie des combinaisons auxquelles vous n’auriez jamais pensé : fromage de chèvre avec sauce au vin rouge, patates douces spiralées, garnitures exotiques. À la fin, il vous dit : “J’ai trouvé une recette qui est 2% plus savoureuse que la poutine du Ashton!”

Vous seriez excité, non? Mais en creusant un peu, vous découvrez que le robot a seulement testé ses recettes sur un panel de 10 personnes de Québec, tous âgés de 25-35 ans, un mardi soir. Et la “nouvelle” recette révolutionnaire? C’est essentiellement une poutine classique avec une pincée de paprika en plus.

C’est un peu ce qui se passe ici. L’idée est brillante et l’approche prometteuse, mais les résultats actuels ressemblent plus à “j’ai trouvé une meilleure façon de couper les frites” qu’à “j’ai inventé un nouveau plat national”. Ça reste intéressant, mais peut-être pas révolutionnaire… pour l’instant.

Point de vue optimiste

Nous sommes potentiellement témoins d’un moment charnière dans l’histoire de l’intelligence artificielle! Cette recherche pourrait bien être le premier pas vers une ère où l’IA ne se contente plus d’exécuter des tâches, mais devient créatrice de ses propres améliorations.

Pensez-y : si un système peut découvrir de nouvelles architectures avec seulement 20 000 heures de GPU, qu’est-ce qui se passera quand Meta ou Google y consacreront leurs méga-clusters pendant des mois? Les possibilités sont vertigineuses! Nous pourrions voir émerger des architectures complètement inédites, des approches que l’esprit humain n’aurait jamais envisagées.

Cette approche pourrait déclencher une spirale d’amélioration exponentielle : l’IA découvre de meilleures architectures, qui permettent de créer des IA plus performantes, qui découvrent à leur tour des architectures encore meilleures. C’est exactement le type de boucle de rétroaction positive qui pourrait nous mener vers l’AGI (Intelligence Artificielle Générale).

Les critiques actuelles sur les limitations de taille et les améliorations marginales ratent complètement le point. Nous sommes dans la phase “Wright Brothers” de cette technologie - le premier vol n’a duré que 12 secondes, mais regardez où nous en sommes aujourd’hui avec l’aviation!

Dans 2-3 ans, nous pourrions voir des modèles d’IA qui surpassent complètement les architectures actuelles, découverts entièrement par des systèmes automatisés. C’est le début d’une nouvelle ère où l’innovation technologique s’accélère de façon exponentielle!

Point de vue pessimiste

Cette étude illustre parfaitement tout ce qui ne va pas avec la recherche en IA aujourd’hui : des titres sensationnalistes, des méthodologies douteuses, et une tendance inquiétante à confondre optimisation automatisée avec véritable innovation.

Le fait que les “découvertes” se limitent à des variations mineures d’architectures existantes devrait nous alerter. Nous ne parlons pas d’innovation révolutionnaire, mais d’un processus d’essais-erreurs automatisé qui trouve des optimisations marginales. C’est comme utiliser un superordinateur pour découvrir que mettre 2% moins de sel dans une recette la rend légèrement meilleure - techniquement correct, mais loin d’être révolutionnaire.

Plus préoccupant encore, cette approche pourrait nous mener vers des systèmes d’IA de plus en plus opaques. Si nous laissons des algorithmes concevoir nos architectures d’IA, nous perdons progressivement notre compréhension de leur fonctionnement. Comment déboguer un système que nous ne comprenons pas? Comment garantir sa sécurité ou prédire ses comportements dans des situations inattendues?

L’obsession actuelle pour l’automatisation de la recherche risque de créer une dépendance dangereuse. Au lieu de développer notre compréhension fondamentale de l’intelligence artificielle, nous nous contentons de laisser des machines optimiser d’autres machines dans une spirale de complexité croissante.

Et si ces systèmes “découvrent” des architectures qui fonctionnent bien sur leurs tests mais échouent catastrophiquement dans le monde réel? Nous créons potentiellement des boîtes noires de plus en plus sophistiquées, sans les outils conceptuels pour les comprendre ou les contrôler. C’est une recette pour des surprises désagréables à grande échelle.