En résumé
- L’apprentissage de l’IA à partir du contenu généré par l’IA pourrait entraîner l’effondrement du modèle et des distorsions de la réalité.
- L’accès à de vraies données produites par l’homme est essentiel pour éviter l’effondrement du modèle et garantir la précision de l’IA.
- Les erreurs d’approximation statistique et fonctionnelle sont les principales causes d’effondrement des modèles, et leur accumulation génère des imprécisions de plus en plus mauvaises.
L’intelligence artificielle (IA) a changé la donne dans de nombreux domaines, de la santé à la vente au détail, en passant par le divertissement et l’art. Cependant, de nouvelles recherches suggèrent que nous avons peut-être atteint un point de basculement : l’IA apprend à partir de contenu généré par l’IA.
Cet ouroboros IA, un serpent qui se mord la queue, pourrait finir assez mal. Un groupe de recherche de différentes universités britanniques a émis un avertissement sur ce qu’ils ont appelé « l’effondrement du modèle », un processus dégénératif qui pourrait complètement séparer l’IA de la réalité.
Dans un article intitulé « The Curse of Recursion : Training on Generated Data Makes Models Forget », des chercheurs des universités de Cambridge, d’Oxford, de l’Université de Toronto et de l’Imperial College de Londres expliquent que l’effondrement du modèle se produit lorsque « les données générées finissent par contaminer l’ensemble d’entraînement de la prochaine génération de modèles. »
« En étant entraînés avec des données contaminées, ils perçoivent alors mal la réalité », ont-ils écrit.
En d’autres termes, le contenu largement généré par l’IA qui est publié en ligne pourrait être aspiré dans les systèmes d’IA, entraînant des distorsions et des inexactitudes.
Comme essayer de copier ou de cloner quelque chose indéfiniment, ces pratiques, selon les chercheurs, pourraient conduire à davantage de cas d’effondrement du modèle.
Compte tenu des graves implications de l’effondrement du modèle, l’accès à la distribution des données d’origine est essentiel. Les modèles d’IA ont besoin de données réelles produites par l’homme pour comprendre et simuler avec précision notre monde.
Comment empêcher l’effondrement des modèles d’IA
Selon l’article de recherche, il y a deux causes principales à l’effondrement du modèle. La principale est « l’erreur d’approximation statistique », qui est liée au nombre fini d’échantillons de données. La secondaire est « l’erreur d’approximation fonctionnelle », qui est dérivée de la marge d’erreur utilisée lors de la formation de l’IA qui n’est pas configurée correctement. Ces erreurs peuvent s’accumuler au fil des générations, provoquant un effet en cascade d’aggravation des inexactitudes.
L’article explique un « avantage du premier arrivé » pour la formation de modèles d’IA. Si nous pouvons maintenir l’accès à la source de données d’origine générée par l’homme, nous pourrions empêcher un changement de distribution préjudiciable et donc l’effondrement du modèle.
Distinguer le contenu généré par l’IA à grande échelle est un défi de taille qui peut nécessiter une coordination au niveau communautaire.
En fin de compte, l’importance de l’intégrité des données et l’influence de l’apport humain sur l’IA sont aussi bonnes que les données dont elles sont dérivées, et l’explosion du contenu généré par l’IA pourrait être une épée à double tranchant pour l’industrie. C’est comme dire « ordures dedans, ordures dehors » : l’IA basée sur le contenu de l’IA conduira à de nombreuses machines très intelligentes, mais « délirantes ».
Que diriez-vous d’un retournement de situation ironique ? Nos descendants de machines, apprenant plus les uns des autres que de nous, deviennent « délirants ». Ensuite, nous devrons faire face à un ChatGPT adolescent délirant.