En résumé
- Microsoft et l’Université technique de Virginie présentent « l’algorithme de pensée » (AoT) pour améliorer l’IA.
- L’AoT recherche des grands modèles de langage (LLM) pour apprendre avec une progression similaire à celle des humains.
- L’aspiration est de combiner le raisonnement humain avec la précision algorithmique, en surmontant les limites de l’approche « Chaîne de pensée » (CoT) dans les LLM.
Voulez-vous obtenir un certificat blockchain gratuit pour montrer vos connaissances en IA ? Suivez l’un des cours gratuits de Decrypt U, Introduction à l’IA, à l’IA et à la musique et à l’IA pour les entreprises.
Microsoft, créateur d’OpenAI, a publié le 20 août 2023 un livre blanc en collaboration avec la Virginia Technical University, présentant leur révolutionnaire « Algorithme de pensées » (AoT). Cette nouvelle approche de l’IA vise à faire apprendre les grands modèles linguistiques (LLM) comme ChatGPT avec une progression « semblable à celle d’un humain », comme l’indique l’article.
L’AoT vise à aller au-delà des méthodes précédentes d’enseignement LLM. L’article fait cette affirmation audacieuse : « Nos résultats suggèrent que donner des instructions à un LLM à l’aide d’un algorithme peut conduire à des performances supérieures à celles de l’algorithme lui-même. »
Cela signifie-t-il qu’un algorithme devient plus intelligent que… lui-même ? Eh bien, on pourrait dire que c’est ainsi que fonctionne l’esprit humain. C’est le Saint Graal de l’IA et ce depuis le début.
Cognition humaine
Microsoft affirme que l’AoT fusionne « les nuances du raisonnement humain et la précision disciplinée des méthodologies algorithmiques ».
Une affirmation audacieuse, mais cette aspiration en elle-même n’est pas nouvelle. Le « Machine Learning », que son pionnier Arthur Samuel a défini comme « le domaine d’étude qui donne aux ordinateurs la capacité d’apprendre sans être spécifiquement programmés », remonte aux années 1950.
Contrairement à la programmation informatique traditionnelle, dans laquelle un programmeur doit créer une liste détaillée d’instructions qu’un ordinateur doit suivre pour accomplir la tâche définie, l’apprentissage automatique utilise des données pour entraîner l’ordinateur à s’entraîner lui-même à trouver des modèles et à résoudre des problèmes. En d’autres termes, fonctionner d’une manière vaguement similaire à la cognition humaine.
ChatGPT d’OpenAI utilise une catégorie d’apprentissage automatique appelée RLHF (apprentissage par renforcement à partir de commentaires humains), ce qui lui confère la nature de « conversations » transparentes avec ses utilisateurs humains.
L’AoT va au-delà de cela, prétendant dépasser l’approche dite de la « Chaîne de pensée » (CoT).
Chaîne de réflexion : quel problème l’AoT vise-t-il à résoudre ?
Si toutes les inventions tentent de résoudre un problème existant dans le statu quo, on pourrait dire que l’AoT a été créée pour résoudre les lacunes de l’approche de la chaîne de pensée.
Dans COT, les LLM trouvent une solution en décomposant une invite ou une question en « étapes linéaires plus simples pour obtenir la réponse », selon Microsoft. Bien qu’il s’agisse d’un énorme progrès par rapport aux instructions standard, qui impliquent une seule et simple étape, cela présente certains inconvénients.
Cela signifie-t-il qu’un algorithme devient plus intelligent que… lui-même ?
Parfois, il présente des étapes incorrectes pour parvenir à la réponse, car il est conçu pour fonder des conclusions sur des précédents. Et un précédent basé sur un ensemble de données donné est limité aux limites de l’ensemble de données. Selon Microsoft, cela entraîne « une augmentation des coûts, de la mémoire et des frais de calcul ».
AOT à la rescousse…
L’algorithme évalue si les « pensées » initiales pour utiliser un mot, généralement associé uniquement aux humains, sont valables, évitant ainsi une situation dans laquelle une « pensée » incorrecte se transforme en un résultat absurde.
Que fera Microsoft avec AoT ?
Bien que Microsoft ne l’ait pas explicitement déclaré, vous pouvez imaginer que si l’AoT est ce qu’il prétend être, il pourrait aider à atténuer les soi-disant « hallucinations » de l’IA, ce phénomène amusant et alarmant où des programmes comme ChatGPT génèrent de fausses informations. . Dans l’un des exemples les plus notoires, en mai 2023, un avocat nommé Stephen A. Schwartz a admis avoir « consulté » ChatGPT comme source lors de recherches pour un rapport de 10 pages. Le problème : le rapport faisait référence à plusieurs décisions de justice comme des précédents juridiques… qui n’ont jamais existé.
« Atténuer les hallucinations est une étape cruciale vers la construction d’une intelligence générale artificielle (IAG) alignée », a déclaré OpenAI dans un article sur son site officiel.