Article en référence: https://www.reddit.com/r/LocalLLaMA/comments/1ideaxu/nvidia_cuts_fp8_training_performance_in_half_on/

Récapitulatif factuel

NVIDIA vient de publier son livre blanc sur l’architecture GPU RTX Blackwell, révélant une modification significative des performances FP8 sur les cartes RTX 40 et 50. Les performances en FP8 avec accumulation FP32 ont été réduites de moitié : la RTX 4090 passe de 660,6 à 330,3 TFlops, tandis que la future RTX 5090 affichera 419 TFlops au lieu des 838 TFlops attendus.

Pour comprendre l’impact, il faut savoir que le FP8 (Format de Précision 8-bit) est crucial pour l’entraînement des modèles d’IA, offrant un excellent compromis entre précision et performance. L’accumulation en FP32 (32-bit) est nécessaire pour maintenir la précision lors de l’entraînement, contrairement à l’accumulation FP16 qui manque de précision pour cette tâche.

Cette modification semble être une limitation volontaire via les pilotes, spécifiquement sur les cartes grand public GeForce, alors que les cartes professionnelles Quadro et datacenter conservent leurs performances maximales.

Point de vue neutre

Cette situation reflète la réalité complexe du marché des GPU pour l’IA. NVIDIA, en position dominante, doit équilibrer ses différentes gammes de produits. La segmentation entre produits grand public et professionnels est une pratique courante dans l’industrie technologique, même si elle peut frustrer les utilisateurs avancés.

Les performances réduites restent significatives pour de nombreux usages, et la majorité des utilisateurs ne seront pas impactés. Cette décision s’inscrit dans une logique commerciale compréhensible, même si elle soulève des questions sur l’éthique des limitations artificielles.

Exemple

Imaginez un restaurant qui propose deux versions du même plat : une version “maison” et une version “chef”. Les ingrédients sont identiques, la recette aussi, mais le chef a délibérément choisi de servir une portion plus petite dans la version “maison”. Le plat reste délicieux et suffisant pour la plupart des clients, mais ceux qui connaissent l’existence de la version “chef” peuvent se sentir lésés.

C’est exactement ce que fait NVIDIA : même “cuisine” (GPU), mais deux portions différentes (performances) selon que vous commandez au menu grand public ou professionnel.

Point de vue optimiste

Cette limitation pourrait stimuler l’innovation dans la communauté open source. Les développeurs trouveront probablement des moyens d’optimiser leurs modèles pour fonctionner efficacement malgré ces restrictions. De plus, cette situation pourrait encourager la concurrence, notamment AMD et Intel, à proposer des alternatives plus ouvertes.

Cette “contrainte créative” pourrait même mener à des avancées inattendues dans l’optimisation des modèles d’IA, rendant l’entraînement plus efficace et accessible à tous. C’est souvent face aux limitations que naissent les meilleures innovations !

Point de vue pessimiste

Cette décision représente une dangereuse tendance vers le contrôle corporatif de l’innovation en IA. En limitant artificiellement les capacités des cartes grand public, NVIDIA crée une barrière financière à l’entrée pour les chercheurs indépendants et les petites entreprises.

Cette stratégie pourrait ralentir significativement le développement de l’IA open source, concentrant encore plus le pouvoir entre les mains des grandes entreprises qui peuvent se permettre le matériel professionnel. À terme, cela risque de créer un écosystème d’IA à deux vitesses, où l’innovation sera réservée à une élite technologique.