Le co-fondateur d'Ethereum, Vitalik Buterin, affirme que sa configuration locale d'IA a fait un pas en avant significatif avec DeepSeek V4. Il a présenté une nouvelle version quantifiée à 2 bits qui utilise environ 90 Go de VRAM et peut gérer des charges de travail plus importantes sur une seule machine haut de gamme. Il a souligné la version Hugging Face comme la méthode actuelle qu'il utilise pour exécuter le modèle localement.
Vitalik a indiqué que cette configuration n'est « rapide que sur le matériel Apple », où il a mesuré environ « 35 Tok/s ». Cependant, sur les GPU AMD, les performances chutent à « ~7 Tok/s », ce qui rend le même modèle beaucoup plus lent au quotidien. Il a fait valoir que cette lacune montre pourquoi une IA locale sérieuse doit prendre en charge plus d’un fournisseur de matériel si elle veut servir une large base d’utilisateurs.
Il a également mentionné les progrès de son propre projet de démon de messagerie, qui offre désormais un support alpha pour Telegram, bien qu'il qualifie toujours la configuration du compte de « assez fragile ». Il a également souligné Lucebox Hub comme un moyen prometteur d’exécuter plus efficacement des modèles « denses » comme le Qwen 27B. Sur son ordinateur portable 5090, a-t-il déclaré, Lucebox offre une vitesse de jeton environ deux fois supérieure à celle de llama.cpp, même si le logiciel en est encore au stade expérimental.
CROPS AI, sélection du matériel et Ethereum
Vitalik a tracé une ligne entre « l’IA décentralisée » de base et ce qu’il appelle la véritable « IA CROPS ». Il estime que « faire réellement l’effort de soutenir correctement plus d’un fabricant de matériel » est la clé pour faire cette différence, et il espère que l’écosystème « pourra s’améliorer ici » à mesure que des outils plus locaux arriveront sur le marché.
Il a ajouté que des projets comme VoxTerm, qui permet un enregistrement local de l'IA sans serveurs tiers, reflètent une évolution plus large vers une IA pilotée par l'utilisateur. Il a également déclaré : « Il y a en fait beaucoup de chevauchements entre la « couche d'accès CROPS Ethereum » et « CROPS AI » », notant qu'un système sans connaissance pour les appels LLM à distance payants pourrait également être « tout aussi utile » pour les lectures RPC privées sur Ethereum.
Vitalik a souligné les modèles spécifiques aux applications et affinés comme un autre élément clé, soulignant le Leanstral de Mistral, où il a atteint « ~ 38 Tok/s sur AMD » avec une consommation de VRAM inférieure à 70 Go. Il a déclaré : « Quelque chose comme celui-ci est une énorme aubaine pour écrire du code plus sécurisé », reliant cela à ses récents travaux sur la vérification formelle. Il a ajouté que « nous devrions également disposer de modèles affinés pour les cas d’utilisation liés à Ethereum » afin que l’IA puisse aider les développeurs à détecter les erreurs dans les contrats intelligents et le code du protocole avant qu’ils n’atteignent le réseau principal.
EN SAVOIR PLUS: Crash de la crypto aujourd'hui : pourquoi les pièces Bitcoin et AI chutent-elles ?
Voir l’article original en allemand
