Article en référence: https://i.redd.it/n7nn4r9oyb9e1.jpeg
Article Reddit: Deepseek v3 was trained on 8-11x less the normal budget of these kinds of models: specifically 2048 H800s (aka “nerfed H100s”), in 2 months. Llama 3 405B was, per their paper, trained on 16k H100s. DeepSeek estimate the cost was $5.5m USD. https://www.reddit.com/r/LocalLLaMA/comments/1hn8ams/deepseek_v3_was_trained_on_811x_less_the_normal/
DeepSeek vient de lancer son modèle V3, un exploit technique remarquable réalisé avec seulement 2048 GPU H800 sur une période de deux mois. Pour mettre cela en perspective, c’est 8 à 11 fois moins de ressources que ce qui est typiquement nécessaire pour ce genre de modèle - Llama 3 405B a utilisé 16 000 GPU H100. Le coût total? Environ 5,5 millions de dollars américains.
Le modèle utilise une architecture MoE (Mixture of Experts), qui fonctionne comme une équipe d’experts spécialisés. Sur ses 671 milliards de paramètres totaux, seuls 37 milliards sont activés à la fois - imaginez une grande entreprise où seuls les employés pertinents pour une tâche spécifique sont appelés à travailler, plutôt que de mobiliser tout le personnel.
Les premiers retours d’expérience montrent que DeepSeek V3 est environ 20-30% moins performant que Claude 3.5 Sonnet, mais coûte 98% moins cher à utiliser. Il excelle dans la programmation simple mais montre ses limites dans des tâches plus complexes ou autonomes. Sa fenêtre de contexte (la quantité d’information qu’il peut traiter à la fois) est plus limitée, et il n’offre pas encore de capacités multimodales comme l’analyse d’images.
L’émergence de DeepSeek V3 illustre parfaitement l’évolution actuelle de l’IA : l’innovation ne vient pas uniquement des géants technologiques disposant de ressources illimitées. Cette démocratisation de l’IA, rendue possible par des approches plus efficientes comme le MoE, ouvre la voie à une diversification des acteurs et des solutions.
La performance légèrement inférieure mais à coût drastiquement réduit représente un compromis intéressant. C’est comme choisir entre une voiture de luxe et une voiture de milieu de gamme - les deux vous amènent à destination, mais avec un niveau de confort et un prix différents.
Cette approche pragmatique pourrait bien définir la prochaine phase de développement de l’IA, où l’efficience primera sur la pure puissance brute.
C’est une véritable révolution dans l’accessibilité de l’IA! DeepSeek démontre qu’il est possible de créer des modèles performants sans les budgets astronomiques habituels. Cette démocratisation va accélérer l’innovation de façon exponentielle.
Imaginez : si une entreprise peut développer un tel modèle avec si peu de ressources, nous sommes à l’aube d’une explosion créative où chaque laboratoire, chaque startup pourra expérimenter et innover. C’est la démocratisation de l’IA qui commence vraiment!
Les optimisations techniques réalisées par DeepSeek ouvrent la voie à une nouvelle ère où l’intelligence artificielle deviendra aussi accessible que l’électricité ou Internet. La prochaine grande innovation pourrait venir de n’importe où, pas seulement des géants de la Silicon Valley.
Cette course à la réduction des coûts et des ressources pourrait mener à des compromis dangereux sur la qualité et la fiabilité des modèles d’IA. Les limitations actuelles de DeepSeek V3 - contexte réduit, absence de capacités multimodales, performance inférieure - ne sont peut-être que la pointe de l’iceberg.
La démocratisation des modèles d’IA puissants, bien que séduisante, soulève des questions inquiétantes. Sommes-nous prêts à voir proliférer des IA moins coûteuses mais potentiellement moins fiables? Le risque de voir émerger des modèles mal contrôlés ou mal intentionnés augmente proportionnellement à leur accessibilité.
De plus, cette course à l’efficience pourrait détourner l’attention des questions fondamentales de sécurité et d’éthique, créant un environnement où la quantité primera sur la qualité, avec des conséquences potentiellement désastreuses pour notre société.
Si vous n'êtes pas redirigé automatiquement, 👉 cliquez ici 👈