Article en référence: https://x.com/DanHendrycks/status/1890091724594393140

Récapitulatif factuel

Scale AI vient de lancer EnigmaEval, une nouvelle série de tests d’intelligence artificielle comprenant 1184 énigmes multimodales. Ces puzzles, tirés de huit sources différentes, combinent texte et éléments visuels comme des grilles, images et diagrammes. La particularité? Même les meilleurs modèles d’IA actuels obtiennent moins de 10% de réussite sur les énigmes normales, et 0% sur les plus difficiles conçues pour les étudiants du MIT.

Le benchmark est divisé en deux catégories:

• Les puzzles “normaux”, allant du niveau débutant aux compétitions avancées
• Les puzzles “difficiles” nécessitant au moins 5 étapes complexes de raisonnement

Les résultats actuels sont révélateurs: GPT-4 obtient 4%, Claude 2 atteint 3%, et même le récent O1 de OpenAI ne dépasse pas 6%. Sur les énigmes difficiles, tous les modèles scorent 0%.

Point de vue neutre

EnigmaEval représente une approche intéressante pour évaluer les capacités de raisonnement des IA, mais il est important de contextualiser ces résultats. Ces puzzles sont intentionnellement conçus pour être difficiles, nécessitant souvent plusieurs jours de réflexion pour des équipes d’humains qualifiés.

La vraie question n’est peut-être pas tant le score obtenu que la pertinence de ce type de test. Les utilisateurs ont-ils réellement besoin d’une IA capable de résoudre des énigmes complexes du MIT? Ne devrions-nous pas plutôt nous concentrer sur l’amélioration des capacités pratiques quotidiennes?

Exemple

Imaginez un concours de cuisine où les chefs doivent préparer un plat complexe sans recette, avec des ingrédients mystères, dans le noir, et en utilisant uniquement leur coude gauche. C’est un peu ce qu’EnigmaEval fait avec l’IA!

Bien sûr, ce n’est pas parce qu’un chef échoue à ce défi qu’il ne peut pas préparer un excellent repas dans des conditions normales. De même, les performances d’une IA sur ces puzzles ne reflètent pas nécessairement son utilité dans le monde réel.

Point de vue optimiste

Ces résultats sont exactement ce dont nous avions besoin! Enfin un benchmark qui pousse réellement les limites de l’IA. Chaque nouveau défi comme celui-ci stimule l’innovation et accélère le développement de modèles plus performants.

Regardez la progression: en quelques mois seulement, nous sommes passés de 0% à 6% sur certains tests. Avec la vitesse actuelle des avancées technologiques, il est probable que dans un an, ces scores sembleront dérisoires. Ces challenges complexes sont exactement ce qui nous permettra d’atteindre une IA véritablement capable de raisonnement avancé.

Point de vue pessimiste

Ces résultats confirment ce que beaucoup craignaient: les IA actuelles sont encore très loin d’une véritable intelligence. Malgré tout le battage médiatique, elles échouent dès qu’il s’agit de raisonnement complexe authentique.

Plus inquiétant encore, ces benchmarks montrent les limites fondamentales des approches actuelles. Si les meilleurs modèles obtiennent 0% sur les puzzles difficiles, cela suggère peut-être que nous faisons fausse route. La course effrénée vers des modèles toujours plus grands pourrait être une impasse, masquant notre incompréhension fondamentale de ce qu’est réellement l’intelligence.