En résumé
- Meta a lancé Audiobox, une plate-forme de génération audio basée sur l’IA, permettant aux utilisateurs de créer des voix et des effets sonores personnalisés à l’aide d’entrées et de commandes vocales.
- Audiobox, successeur de Voicebox, améliore la technologie de génération et d’édition de la parole, des effets sonores et des paysages sonores, avec un filigrane automatique pour une « utilisation responsable ».
- La plateforme utilise des « solveurs personnalisés » pour rendre le processus de génération plus de 25 fois plus rapide que les modèles précédents sans perte de performances.
Ce lundi, la société mère de Facebook, Meta, a publié la première démo de sa nouvelle plateforme de génération audio basée sur l’IA, Audiobox. Le géant des médias sociaux a déclaré qu’Audiobox permet aux utilisateurs de créer des voix et des effets sonores personnalisés à l’aide d’entrées et de commandes vocales.
Selon Meta, Audiobox s’appuie sur la technologie développée pour sa plateforme Voicebox introduite plus tôt cette année, la surpassant en qualité et inclut un filigrane automatique pour une « utilisation responsable ».
« Audiobox, le successeur de Voicebox, fait progresser l’IA générative pour l’audio en unifiant les capacités de génération et d’édition pour la parole, les effets sonores (sons courts et discrets comme un aboiement de chien, une voiture qui klaxonne, le tonnerre, etc.) et les paysages sonores, avec un variété de mécanismes d’entrée pour maximiser la contrôlabilité pour chaque cas d’utilisation », a déclaré l’équipe Audiobox de Meta.
L’équipe a expliqué qu’Audiobox utilise des « solveurs personnalisés », qui, selon elle, rendent le processus de génération plus de 25 fois plus rapide que les modèles précédents, sans perte de performances.
En juin, Meta a annoncé Voicebox, un outil d’IA générative qui, selon Meta, peut produire de l’audio en six langues, dont l’anglais, le français, l’allemand, l’espagnol, le polonais et le portugais, et peut le faire de manière plus proche de la façon dont les gens parlent naturellement dans le monde réel.
Alors que les inquiétudes concernant les deepfakes basés sur l’IA augmentaient à l’époque, Meta a déclaré qu’elle ne rendrait pas Voicebox au public, reconnaissant le potentiel d’utilisation abusive. Pour lutter contre les utilisations abusives d’Audiobox, Meta a inclus des filigranes.
« Les récents progrès en matière de qualité et de fidélité dans le modèle audio génératif ont permis de nouvelles applications et cas d’utilisation dans le modèle. Cependant, en même temps, de nombreuses personnes… s’inquiètent des risques d’utilisation abusive », a déclaré Audiobox. a déclaré l’équipe dans son rapport. « Par conséquent, la capacité de reconnaître quel audio est généré ou réel est cruciale pour empêcher une utilisation abusive de la technologie et permettre à certaines plates-formes de se conformer à leur politique. »
« Le modèle Audiobox et notre démo interactive comportent un filigrane audio automatique, de sorte que tout audio créé avec Audiobox puisse être retracé avec précision jusqu’à sa source », a déclaré Meta. « Notre méthode de filigrane intègre dans l’audio un signal imperceptible à l’oreille humaine, mais qui peut être détecté jusqu’au niveau de l’image à l’aide d’un modèle capable de trouver des segments générés par l’IA dans l’audio. »
« Nous avons conçu des descriptions et des exemples pour améliorer la contrôlabilité et unifier les paradigmes de génération de parole et de son », a déclaré l’équipe. « Nous vous permettons de contrôler indépendamment la transcription, la parole et d’autres styles audio lors de la génération de la parole. »
Bien que cela puisse être plus rapide, Meta a reconnu que les modèles d’IA génératifs audio comme Audiobox sont limités par la quantité de données d’entraînement, dans ce cas les sons, étiquetés et introduits dans le modèle d’IA, soulignant l’importance d’un étiquetage correct. les données.
Selon les chercheurs, il est préférable de qualifier les sons d’aboiements d’un chihuahua et d’un labrador de type spécifique de chien plutôt que de simplement les qualifier de « aboiements de chien ». Meta dit que la même chose s’applique aux modèles de discours comme les accents régionaux et les dialectes.
Un porte-parole de Meta a refusé de commenter davantage.
Comme Google, Microsoft et Amazon, Meta a investi beaucoup de temps et d’argent dans l’intelligence artificielle. Plus tôt ce mois-ci, Meta a annoncé l’arrivée de plus de 20 nouvelles fonctionnalités basées sur l’IA sur sa suite de plateformes, notamment Facebook, Instagram et WhatsApp.
En tant que défenseur du développement responsable de l’IA, Meta s’est récemment associé à IBM pour lancer l’AI Alliance, un consortium de plus de 50 entreprises, universités et groupes de réflexion axés sur l’innovation et le développement de l’IA open source.
« L’AI Alliance rassemble des chercheurs, des développeurs et des entreprises pour partager des outils et des connaissances qui peuvent nous aider tous à progresser, que les modèles soient partagés ouvertement ou non », a déclaré Nick Clegg, président des affaires mondiales de Meta. « Nous sommes impatients de travailler avec des partenaires pour faire progresser l’état de l’art de l’IA et aider chacun à construire de manière responsable. »
Edité par Ryan Ozawa.