Article en référence: https://www.reddit.com/r/LocalLLaMA/comments/1idseqb/deepseek_r1_671b_over_2_toksec_without_gpu_on/

Récapitulatif factuel

Une découverte fascinante vient d’être partagée dans la communauté LocalLLaMA : il est possible d’exécuter le modèle DeepSeek R1 671B sans carte graphique (GPU) sur un ordinateur de jeu standard. L’astuce consiste à utiliser uniquement la mémoire vive (RAM) pour le cache KV et laisser le logiciel llama.cpp utiliser les disques SSD NVMe pour charger le modèle à la demande.

Cette approche permet d’atteindre une vitesse de 2,13 tokens par seconde avec un contexte de 2000 tokens, en utilisant une version quantifiée dynamique du modèle. Pour les non-initiés, la quantification est une technique qui réduit la précision des nombres pour économiser de la mémoire, tandis que les tokens sont les unités de base que le modèle utilise pour traiter le texte (un mot peut représenter plusieurs tokens).

Le système utilisé comprend :

• 96 Go de RAM DDR5
• Un SSD NVMe PCIe Gen 5
• Un processeur moderne
• Pas de GPU nécessaire

L’innovation principale réside dans l’utilisation du “memory mapping” (mmap) qui permet au système d’exploitation de gérer intelligemment quelles parties du modèle doivent être chargées en mémoire à un moment donné.

Point de vue neutre

Cette découverte représente un compromis intéressant entre accessibilité et performance. Bien que 2 tokens par seconde puisse sembler lent comparé aux solutions commerciales, cela reste utilisable pour certains cas d’usage non-temps réel comme l’analyse de documents ou la génération de contenu en arrière-plan.

L’approche démontre également une tendance croissante vers la démocratisation des grands modèles de langage. Plutôt que d’investir dans des GPU coûteux, les utilisateurs peuvent maintenant explorer des alternatives basées sur des composants plus standards et moins chers.

Cependant, il faut rester réaliste : cette solution n’est pas adaptée aux applications nécessitant des réponses rapides ou au traitement de grandes quantités de données. C’est un outil de plus dans la boîte à outils, pas une solution miracle.

Exemple

Imaginez que vous ayez une énorme bibliothèque (le modèle) et que vous deviez consulter des livres pour répondre à des questions. Au lieu d’avoir un assistant super rapide qui connaît tous les livres par cœur (GPU), vous avez :

• Un bureau de taille moyenne (la RAM) où vous gardez les livres que vous consultez souvent
• Un chariot intelligent (mmap) qui va chercher automatiquement les livres dont vous avez besoin dans les rayons
• Des étagères facilement accessibles (SSD NVMe) où sont rangés tous les livres

C’est comme si au lieu d’embaucher un bibliothécaire surdoué mais très coûteux, vous aviez mis en place un système plus modeste mais efficace pour accéder à la même connaissance, juste un peu plus lentement.

Point de vue optimiste

C’est une révolution dans l’accessibilité des grands modèles de langage ! Cette découverte prouve que nous n’avons pas besoin de matériel spécialisé coûteux pour expérimenter avec l’IA de pointe. Imaginez les possibilités quand cette approche sera optimisée davantage !

Avec l’évolution rapide des SSD NVMe et l’arrivée de nouvelles technologies de stockage, nous pourrions bientôt voir des performances rivalisant avec les solutions GPU traditionnelles. Cette démocratisation de l’IA pourrait mener à une explosion d’innovations venant de chercheurs et développeurs indépendants qui n’avaient pas accès à ces outils auparavant.

De plus, cette approche ouvre la voie à des solutions plus écologiques et économiques pour déployer l’IA à grande échelle. C’est le début d’une nouvelle ère d’IA accessible à tous !

Point de vue pessimiste

Cette “solution” n’est qu’un pansement sur une jambe de bois. 2 tokens par seconde ? C’est pratiquement inutilisable dans un contexte professionnel. Sans parler de l’usure accélérée des SSD qui ne sont pas conçus pour ce type d’utilisation intensive.

Les performances sont tellement limitées qu’on peut se demander si ça vaut vraiment la peine d’investir dans le matériel nécessaire. Même avec 96 Go de RAM et un SSD haut de gamme, on obtient des performances qui auraient fait rire il y a 10 ans.

De plus, cette approche pourrait donner de faux espoirs à ceux qui pensent pouvoir faire tourner des modèles d’IA avancés sur du matériel grand public. La réalité est que l’IA de pointe restera l’apanage des grandes entreprises avec leurs centres de données spécialisés.