Les chercheurs de Multiverse Computing ont annoncé des améliorations quantiques à un grand modèle de langage sur le matériel IBM. Nous parlons d'une conception hybride utilisant un processeur Heron de 156 qubits.
Les auteurs ont qualifié l’expérience de première « amélioration quantique de bout en bout ». LLM sur un processeur supraconducteur pour la génération de texte autorégressive.
Les tests ont utilisé Llama 3.1 8B de Meta. Le modèle de base n'a pas été entièrement entraîné : les paramètres ont été « gelés » et des adaptateurs quantiques ont été ajoutés – des adaptateurs unitaires paramétrés par Cayley (AUC). Ils ont d’abord été formés de manière classique, puis connectés à un circuit hybride quantique-classique.
L'expérience a été réalisée sur IBM Quantum System Two, une architecture pour systèmes quantiques hybrides. L'installation impliquait une puce Heron de 156 qubits.
La version hybride a réduit la perplexité du Llama 3.1 8B de 1,4 %. Pour ce faire, nous avons ajouté environ 6 000 paramètres, soit environ 0,000075 % de la taille du modèle.
Au cours de la démonstration, le lama amélioré quantique a répondu correctement aux questions d'astronomie et de biologie auxquelles la version de base avait échoué (par exemple, sur la présence d'anneaux sur toutes les planètes géantes).
Selon l'auteur principal de l'étude, Borja Aispurua, le travail est une preuve de concept. Les blocs quantiques ont permis de prédire plus précisément le prochain jeton dans le texte avec une dépense de puissance de calcul minimale.
L’équipe espère réduire davantage la perplexité et augmenter la précision avec moins de paramètres par rapport aux approches entièrement classiques.
Rappelons qu'en mai, les cotations des entreprises quantiques ont augmenté après que le Département américain du Commerce a annoncé l'allocation de 2 milliards de dollars aux entreprises américaines dans le cadre du programme de R&D CHIPS.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Newsletters ForkLog : restez à l’écoute de l’industrie Bitcoin !