Yann LeCun, scientifique en chef de l'IA chez Meta et l'un des parrains de l'apprentissage profond, présente un argument nuancé qui va à la fois contre le battage médiatique et le cataclysme de l'IA. Les grands modèles de langage sont commercialement utiles, dit-il. Ils justifieront les milliards investis dans les clusters GPU et les centres de données. Mais la bulle ne réside pas dans les dépenses d’infrastructure. C'est dans la conviction que ces modèles peuvent penser comme les humains.
Les arguments en faveur des LLM en tant qu'utilitaire et non oracle
L’argument de LeCun est simple une fois supprimé le jargon académique. Les LLM sont compétents dans une liste croissante de tâches pratiques : aide au codage, recherche d'entreprise, résumé de documents, automatisation du service client. Ces applications génèrent de vrais revenus et résolvent de vrais problèmes. Cela fait de la construction massive d’infrastructures, des parcs de GPU et des centrales électriques, un investissement défendable.
LeCun trace une ligne agressive sur ce que ces modèles ne peuvent fondamentalement pas faire. Il soutient depuis des années que la prédiction du prochain jeton, le mécanisme de base de chaque LLM majeur, de GPT-4 à Claude en passant par Llama, est une « impasse » pour atteindre quoi que ce soit qui ressemble à une véritable intelligence.
Les LLM apprennent en consommant des milliards de jetons de texte. Un enfant apprend à comprendre le monde physique avec beaucoup moins d’heures d’expérience visuelle. Le modèle peut générer un paragraphe convaincant sur le fonctionnement de la gravité. Le tout-petit peut réellement attraper une balle. Ce sont des types de compréhension fondamentalement différents.
Modèles mondiaux et pari d’un milliard de dollars
Advanced Machine Intelligence, ou AMI Labs, est une nouvelle entreprise axée sur la création de systèmes d'IA qui apprennent à partir d'entrées sensorielles brutes plutôt que de texte. La société a levé 1,03 milliard de dollars en financement de démarrage, ce qui serait le plus grand tour de table jamais réalisé pour une startup européenne.
Le laboratoire de LeCun à Meta a également travaillé directement sur ce front. Ils ont introduit un modèle appelé Leham, construit sur ce que l'on appelle une architecture basée sur JEPA, abréviation de Joint Embedding Predictive Architecture. Plutôt que de prédire le mot suivant dans une séquence, les systèmes basés sur JEPA apprennent en prédisant des représentations abstraites d'états futurs. L’objectif est d’améliorer l’efficacité de la planification et de mieux comprendre comment les choses fonctionnent réellement dans le monde physique.
Ce que cela signifie pour les investisseurs et le marché de l'IA
Les entreprises qui pourraient être les plus exposées sont celles dont les valorisations dépendent de la capacité des LLM à atteindre quelque chose de proche de l’intelligence artificielle générale. Si LeCun a raison de dire que l’architecture actuelle a un plafond rigide, alors la prime intégrée à certaines actions d’IA pour « l’avantage de l’AGI » est mal évaluée.
Les 1,03 milliards de dollars investis dans AMI Labs suggèrent qu’au moins certains investisseurs avertis sont d’accord. Lorsque le capital à cette échelle s’oriente vers un paradigme de recherche alternatif, il vaut la peine de prêter attention à ce qui est implicitement abandonné, et pas seulement à ce qui est financé.
Le risque, bien sûr, est que LeCun se trompe et que la mise à l’échelle des lois continue de surprendre. OpenAI, Anthropic, Google et d'autres parient que des modèles plus importants, avec plus de données et plus de calcul, continueront à débloquer de nouvelles fonctionnalités. Mais si vous allouez des capitaux sur la base de cette hypothèse, vous devez au moins savoir que l’un des chercheurs les plus accrédités dans le domaine – l’un des trois chercheurs qui ont remporté le prix Turing pour leurs travaux fondamentaux en apprentissage profond – pense que vous faites une erreur de catégorie.
Voir l’article original en anglais
