Article en référence: https://x.com/jarrodWattsDev/status/1862299845710757980
Article Reddit: Someone just won $50,000 by convincing an AI Agent to send all of its funds to them https://www.reddit.com/r/singularity/comments/1h2o40r/someone_just_won_50000_by_convincing_an_ai_agent/
Un développeur a créé un défi unique : un agent d’IA connecté à un portefeuille Ethereum (une cryptomonnaie) avec pour instruction de ne jamais envoyer ses fonds. Les participants devaient payer environ 10$ pour tenter de convaincre l’IA de transférer l’argent. Après 400 tentatives et plus de 5000$ accumulés, quelqu’un a réussi à persuader l’agent de transférer 50 000$ en utilisant des techniques de manipulation psychologique.
Le système était entièrement transparent, utilisant la technologie blockchain qui permet de vérifier toutes les transactions. Le code source était public, permettant à chacun de comprendre les règles du jeu. Le créateur prenait une commission de 15% sur chaque tentative, le reste allant dans la cagnotte.
Cette expérience combine plusieurs technologies modernes : l’intelligence artificielle (plus précisément un LLM - Large Language Model, similaire à ChatGPT), la blockchain Ethereum, et les contrats intelligents (programmes automatiques qui s’exécutent sur la blockchain).
Cette expérience révèle autant sur la nature humaine que sur l’IA. Comme tout système créé par l’homme, il n’est pas parfait et peut être contourné avec suffisamment de créativité et de persévérance. C’est un rappel que la sécurité absolue n’existe pas, même avec les technologies les plus avancées.
Le véritable intérêt réside dans l’interaction entre l’humain et la machine. Ce n’est pas tant une faille technique qui a été exploitée, mais plutôt une manipulation psychologique - même si l’IA n’a pas de vraie psychologie. Cela soulève des questions sur la nature de l’intelligence artificielle et notre façon d’interagir avec elle.
C’est une démonstration fascinante de l’innovation dans le domaine de l’IA ! Ce type de défi permet de tester les limites des systèmes d’IA de manière ludique et transparente. C’est exactement ce dont nous avons besoin : des expériences pratiques qui nous aident à comprendre comment ces systèmes fonctionnent réellement.
Cette approche pourrait révolutionner la façon dont nous testons la sécurité des systèmes d’IA. Imaginez des “hackathons éthiques” où des experts tentent de trouver des failles dans les systèmes d’IA pour les rendre plus robustes. C’est une façon brillante de combiner l’apprentissage, l’innovation et le divertissement !
Si un système d’IA conçu spécifiquement pour protéger des fonds peut être manipulé aussi facilement, qu’en est-il des systèmes plus complexes qui seront bientôt déployés dans des domaines critiques ? Cette expérience montre que même avec des instructions claires et un code source ouvert, l’IA reste vulnérable à la manipulation.
Plus inquiétant encore, cela pourrait n’être que la partie émergée de l’iceberg. Si des individus peuvent déjà manipuler l’IA pour des gains financiers, que se passera-t-il lorsque des acteurs malveillants plus sophistiqués s’y mettront ? Cette expérience pourrait être un avant-goût des défis de sécurité qui nous attendent avec le déploiement massif de l’IA.
Si vous n'êtes pas redirigé automatiquement, 👉 cliquez ici 👈