Le 29 juin, Meta a présenté un système permettant de reconstruire un texte tapé à partir d'enregistrements d'activité cérébrale sans intervention chirurgicale. La précision moyenne au niveau des mots a atteint 61 %, contre environ 8 % pour les méthodes non invasives précédentes, a indiqué la société.
Brain2Qwerty v2 a été entraîné sur environ 22 000 phrases. Neuf volontaires sains ont participé à l'expérience : chacun a passé 10 heures dans le scanner. magnétoencéphalographie et tapa les phrases qu'il entendit sur le clavier.
« Au lieu de circuits fabriqués à la main pour identifier les événements neuronaux, nous utilisons l'apprentissage profond de bout en bout pour décoder les données directement à partir des signaux cérébraux bruts », a déclaré Meta.
Brain2Qwerty v2 fonctionne avec un enregistrement continu de l'activité cérébrale et reconstruit la phrase entière. Pour clarifier le résultat, le système utilise un modèle de langage pré-entraîné qui prend en compte le contexte sémantique. Le meilleur participant a atteint une précision de 78 % au niveau des mots. Le système a décodé plus de la moitié de ses phrases avec une ou aucune erreur.
Le développement n’est pas encore prêt pour une utilisation clinique ou grand public. Brain2Qwerty v2 a été testé sur des volontaires sains qui tapaient du texte. Pour les personnes ayant perdu la parole ou la mobilité, cette approche doit être testée séparément.
De plus, le système ne fonctionne pas encore comme une saisie de texte en temps réel à part entière. Le modèle traite la phrase entière, de sorte que l'utilisateur ne voit pas chaque mot immédiatement après l'avoir tapé.
Le projet est associé au Digital Brain Project, une initiative visant à créer des ensembles de données ouverts en neurosciences. Le budget du programme est de 5 millions de dollars.
Rappelons qu'en septembre 2022, Meta a publié une étude sur un « décodeur cérébral » qui, grâce à l'intelligence artificielle, convertit les pensées en parole.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE