Quelle est la prochaine étape pour OpenAI ? Découvrez tout sur Project Strawberry, Orion et GPT Next

OpenAI est sur le point de lancer deux modèles révolutionnaires qui pourraient redéfinir le paysage de l'apprentissage automatique. Noms de code Strawberry et Orion, ces projets visent à repousser les limites actuelles des capacités de l'IA, notamment en matière de raisonnement, de résolution de problèmes et de traitement du langage, nous rapprochant ainsi un peu plus de l'intelligence artificielle générale (AGI).

Strawberry, anciennement connu sous le nom de Q* ou Q-Star, semble être plus qu'un simple chatbot ; il se concentre sur la présentation d'une avancée significative dans les capacités de raisonnement de l'IA. Des sources proches du projet ont rapporté à différents médias tels que Reuters soit Le Information qui a démontré une compétence remarquable dans la résolution de problèmes mathématiques complexes et dans l’analyse logique.

En attendant, Orion se profile comme le prochain modèle de langage phare d'OpenAI, avec le potentiel de remplacer GPT-4. Il est conçu pour surpasser son prédécesseur en matière de compréhension et de génération de langage, tout en intégrant la capacité de traiter des entrées multimodales, telles que du texte, des images et des vidéos.

Ces deux projets ont attiré l’attention des responsables de la sécurité nationale américaine, soulignant leur importance stratégique potentielle. Cette évolution intervient alors qu’OpenAI continue de lever des capitaux malgré une croissance considérable de ses revenus, probablement due aux coûts élevés associés au développement et à la formation de ces modèles avancés.

Fraise et pouvoir de raisonnement

Malgré un flot incessant de spéculations en ligne, OpenAI n'a officiellement rien dit à propos du projet Strawberry. Cependant, les fuites présumées portent sur ses capacités de raisonnement sophistiqué.

Contrairement aux modèles traditionnels qui fournissent des réponses rapides, Strawberry utiliserait ce que les chercheurs appellent la « pensée système 2 », capable de prendre le temps de délibérer et de raisonner sur des problèmes, plutôt que de prédire des séries de jetons plus longues pour compléter ses réponses. Cette approche a donné des résultats impressionnants, le modèle obtenant un score supérieur à 90 % sur le test MATH (un ensemble de problèmes mathématiques avancés), selon Reuters.

Une autre innovation clé attendue de Strawberry est sa capacité à générer des données d’entraînement synthétiques de haute qualité. Cela répond à un défi crucial dans le développement de l’IA : la rareté de données diverses et de haute qualité sur lesquelles former les modèles. Si cela se confirme, Strawberry non seulement améliore ses propres capacités, mais ouvre également la voie à des modèles plus avancés comme Orion.

Compte tenu des quantités massives de données déjà collectées par OpenAI et du mouvement de confidentialité qui sévit désormais parmi les utilisateurs peu disposés à donner leurs données aux formateurs d'IA, cette fonctionnalité pourrait jouer un rôle majeur dans la qualité des futurs modèles d'IA, tout comme certains utilisateurs entraînent aujourd'hui leurs propres modèles personnalisés à l'aide d'images générées par Stable Diffusion.

Cependant, l'approche délibérée de Strawberry en matière de traitement peut présenter des défis pour les applications en temps réel. Les chercheurs d'OpenAI travailleraient à « distiller » les capacités de Strawberry, en réduisant essentiellement sa qualité afin que les consommateurs puissent effectuer de grandes quantités d'inférences à un faible coût de calcul.

L'intégration potentielle de la technologie de Strawberry dans des produits destinés aux consommateurs comme ChatGPT pourrait toutefois marquer une avancée significative dans la manière dont OpenAI forme de nouveaux modèles. Cependant, il est possible qu'OpenAI utilise Strawberry comme base pour la formation de nouveaux modèles plutôt que de le mettre largement à la disposition des consommateurs.

Projet Orion ou GPT Next

Le projet Orion est présenté comme le successeur ambitieux du GPT-4o d'OpenAI, visant à établir de nouvelles normes en matière d'IA linguistique. Une récente présentation de Tadao Nagasaki, PDG d'OpenAI Japan, suggère qu'il pourrait s'appeler GPT Next. S'appuyant sur les avancées du projet Strawberry, Orion est conçu pour exceller dans le traitement du langage naturel tout en s'étendant aux capacités multimodales.

Et OpenAI affirme que le saut ne sera pas progressif.

« Le prochain modèle d'IA, probablement appelé « GPT Next », évoluera près de 100 fois plus que ses prédécesseurs, en fonction des performances passées », a déclaré Nagasaki lors du KDDI SUMMIT 2024 au Japon, a rapporté IT Media. « Contrairement aux logiciels traditionnels, la technologie de l'IA connaît une croissance exponentielle. Par conséquent, nous voulons soutenir la création d'un monde où l'IA est intégrée le plus rapidement possible. »

Entraîner Orion sur des données produites par Strawberry représenterait un avantage technique pour OpenAI. Cette technique doit cependant être utilisée avec précaution. Les chercheurs ont déjà montré que les modèles commençaient à se dégrader après avoir été entraînés sur trop de données synthétiques. Il semble donc essentiel pour OpenAI de trouver le point idéal où Strawberry peut booster Orion sans affecter sa précision pour rester compétitif.

Les capacités multimodales natives d'Orion représenteront également une avancée significative. Le modèle est en cours de développement pour intégrer de manière transparente l'entrée et la sortie de texte, d'image et même de vidéo, a rapporté The Information, ouvrant de nouvelles possibilités pour les utilisateurs de ChatGPT et mettant l'entreprise en concurrence directe avec Gemini de Google, qui peut traiter jusqu'à 2 heures d'entrée vidéo.

Il s’agit du modèle avec lequel les utilisateurs interagiront lorsqu’ils utiliseront ChatGPT ou l’API OpenAI Playground.

Le développement d'Orion s'inscrit dans la stratégie plus large d'OpenAI visant à maintenir son avantage concurrentiel dans un paysage d'IA de plus en plus encombré. Avec des modèles open source comme LLaMA-3.1 de Meta et des modèles de pointe comme Claude ou Gemini qui progressent rapidement, Orion est essentiellement la tentative d'OpenAI de garder une longueur d'avance.