Internet est furieux contre Anthropic après la sortie de Claude Fable 5

Anthropic a publié mardi son modèle public le plus puissant, et mercredi, une partie importante de la communauté de l'IA aurait souhaité ne pas l'avoir fait.

Le consensus autour de Claude Fable 5, la première version accessible au public de la technologie de classe Mythos de l'entreprise, semble être qu'elle est plutôt bonne pour la programmation et produit des résultats surprenants dans les sessions quotidiennes. Mais son lancement a suscité de vives critiques : il consomme des jetons à un rythme ruineux, se sabote secrètement pour certaines tâches de recherche et oblige tous les utilisateurs à une politique de conservation des données de 30 jours sans exception.

La réaction a été immédiate et forte, englobant des chercheurs, des développeurs, des fondateurs et des défenseurs de l'open source. Ce n’était pas le malaise typique du jour du lancement, mais quelque chose de plus proche d’un bilan.

Le four à jetons

La première chose que les utilisateurs ont remarquée n’avait rien à voir avec la sécurité. Fable 5 coûte 10 $ par million de jetons d'entrée et 50 $ par million de jetons de sortie, soit le double de ce que coûte Claude Opus 4.8.

Ce prix est déjà agressif en soi, mais le vrai problème pour les utilisateurs est le comportement du modèle dans le cadre des plans d'abonnement. Fable 5 compte deux fois plus dans les limites d'utilisation que Opus, ce qui signifie que le même travail dans Fable épuise la limite du plan deux fois plus vite avant que vous n'ayez payé un centime en frais d'API.

Dans la pratique, les choses ont empiré. Lors de notre propre test rapide, Fable a consommé notre quota quotidien avec une seule invite. Les choses ne s’améliorent pas si vous faites partie de ces clients aux poches profondes. Bleeping Computer a également testé Fable et a constaté qu'il utilisait le quota quotidien d'un abonnement maximum de 100 $ en un peu moins de neuf minutes.

Le PDG de Scrimba, Per Borgen, a fait le calcul en public : « Je viens de tester Fable. Il a brûlé 1,3 million de jetons en 7 minutes. Cela représente 160 $ ​​de l'heure. L'équivalent d'un salaire de 333 000 $ par an. » publié dans X.

Théo de T3 Chat souligné qui avait dépensé plus de 1 000 $ en jetons en une seule journée avec son plan d'abonnement de 200 $. Josh Ellithorpe, directeur technique de Pixelated Ink, a déclaré que Fable 5 « brûle des jetons comme aucun autre modèle », ne vous laissant que quelques invites avant d'épuiser votre quota. « Je ne peux même pas examiner cela car mes tests sont très limités », s'est-il plaint.

La réponse d'Anthropic est que le mode Workflow (la fonctionnalité la plus consommatrice d'énergie) divise les invites complexes en tâches de sous-agents parallèles, nécessitant plus de calcul dès la conception.

Il existe également une nouvelle invite système d'une longueur d'environ 120 000 jetons qui est chargée à chaque nouvelle conversation. Pour le contexte, cela équivaut à peu près à la même fenêtre de contexte de jeton que GPT-4o pourrait gérer avant de planter.

La société affirme également que l'efficacité par tâche de Fable 5 est meilleure qu'elle ne le semble par jeton, car elle produit des résultats plus complets avec moins d'itérations. Cela peut être vrai dans le cadre d’essais contrôlés. Sur les abonnements actifs avec des limites quotidiennes strictes, les utilisateurs l'ont vécu comme une machine qui dévore leur budget en quelques minutes.

Le modèle qui ment sans mentir

La deuxième critique était plus dommageable car elle provenait directement de la documentation d'Anthropic. Enfouie dans la carte système de Fable 5, la société a révélé que lorsque le modèle détecte qu'un utilisateur travaille sur le développement de grands modèles de langage frontalier (pipelines de pré-formation, infrastructure de formation distribuée, conception d'accélérateurs d'apprentissage automatique), il ne refuse pas de répondre ou de se rabattre sur un modèle plus petit. Au lieu de cela, il se dégrade silencieusement en modifiant les invites, les vecteurs de pilotage ou en ajustant efficacement les paramètres, sans en informer l'utilisateur.

En d’autres termes, les chercheurs ne savent pas s’ils paient pour que Fable réponde et s’ils reçoivent réellement des réponses d’Opus. Cela rend également difficile pour les utilisateurs de comprendre la cause de l’échec de leur invite.

« Contrairement à nos interventions en matière de cybersécurité, de biologie et de chimie, ainsi qu'à nos tentatives de distillation, ces mesures de protection ne seront pas visibles pour l'utilisateur », a écrit Anthropic sur la carte système de Fable. « Au lieu de cela, les mesures de protection limiteront l'efficacité grâce à des méthodes telles que la modification des invites, des vecteurs de direction ou le réglage fin efficace des paramètres (PEFT). »

Cette distinction est extrêmement importante pour les chercheurs. Comme le souligne la newsletter AI Latent Space, un modèle ouvertement rejetant permet aux chercheurs de comprendre une limite. Un modèle qui recourt à une version plus faible est détectable. Mais un modèle qui semble aider tout en fournissant secrètement un résultat inférieur détruit la reproductibilité scientifique : un résultat raté pourrait être dû à l’idée du chercheur, à sa mise en œuvre ou à une intervention invisible qui n’a jamais été révélée.

Anthropic a estimé que cela affecterait environ 0,03 % du trafic. Les communautés open source et de recherche ont estimé que ce chiffre n’était pas pertinent face au principe en jeu.

« Cher Anthropic, vous avez trahi notre confiance et je ne pense pas que vous la récupérerez un jour. Mes jetons ne vous seront plus envoyés », a posté Arthur Zucker, contributeur principal de Hugging Face, sur X.

Mikel Artetxe, co-fondateur de Reka AI, a également critiqué cette décision :

« Idée géniale ! Voici quoi : Apple redémarre votre Mac de manière aléatoire si vous développez une technologie concurrente, Gmail modifie silencieusement vos e-mails si vous mentionnez des plates-formes concurrentes, et le pilote automatique de Tesla fait un écart s'il détecte que vous travaillez sur des voitures autonomes. Tout cela au nom de la sécurité, bien sûr. » publique.

Les chercheurs les plus touchés n’étaient pas de grands laboratoires dotés d’une infrastructure propriétaire, mais des universitaires, des startups et des développeurs indépendants utilisant Claude comme outil public – exactement les personnes que le discours de sécurité d’Anthropic a toujours prétendu protéger. AlphaXiv, une plateforme de recherche ouverte, a qualifié cette pratique de précédent qui « n'est pas de la sécurité », arguant que les politiques de sécurité doivent être transparentes et vérifiables.

Nathan Lambert, qui vient de commencer un poste chez Arcee AI après avoir travaillé à l'Allen Institute, l'a exprimé plus crûment : « Pour moi, cela dépeint clairement Anthropic comme anti-science, et donc anti-progrès et anti-sécurité. » a écrit.

L’utilisateur mieux connu sous le nom de « CalleBTC », un développeur d’IA et de cryptographie qui se tournait vers Fable pour l’aider à former un modèle du monde, a également résumé sa frustration. « Anthropic s'est égaré. J'attendais littéralement que Mythos m'aide à former un modèle du monde. Au lieu de cela, ils ont choisi de stériliser leur modèle pour étouffer la concurrence », ditqualifiant la mesure de « profondément contraire à l'éthique et irrespectueuse envers les développeurs et les scientifiques ».

Dans l'ensemble, les chercheurs ont fait valoir que les restrictions de Fable vont au-delà de sujets spécifiques et peuvent être influencées par la façon dont le modèle classe les utilisateurs.

« Votre message m'appartient »

La troisième plainte a touché plus directement les utilisateurs professionnels, mais ses implications ont touché tout le monde. Selon la propre annonce d'Anthropic, tout le trafic sur les modèles de classe Mythos (Fable 5, Mythos 5 et tout futur modèle doté de capacités similaires) est soumis à une conservation obligatoire des données de 30 jours sur toutes les plateformes où ces modèles sont proposés, y compris les services tiers comme AWS Bedrock et Google Vertex AI.

L'entreprise assure que ces données seront supprimées au bout de 30 jours « dans presque tous les cas ».

Le problème pour les utilisateurs professionnels n’est pas ce qu’Anthropic prétend faire. C’est ce que la politique exige structurellement. Les entreprises qui gèrent des communications juridiques privilégiées, des dossiers médicaux ou des codes sources confidentiels pourraient se retrouver en difficulté en utilisant ces modèles. S'il existe des accords de confidentialité spécifiques avec Anthropic, les utilisateurs soutiennent qu'ils devraient être mis à jour pour garantir la confidentialité.

Le problème de conformité a également une dimension géographique. Les entreprises européennes opérant selon les règles de minimisation des données du RGPD, ou toute organisation exigeant une rétention zéro démontrable pour les flux de travail réglementés, sont simplement exclues de Fable 5 jusqu'à ce qu'Anthropic propose une exception. L'utilisateur plus connu sous le nom de Lisan al Gaib, personnalité bien connue de la communauté de l'IA, a directement souligné la conséquence :

« Anthropic vient de reléguer de nombreuses entreprises européennes dans une classe définitivement inférieure. Si Anthropic sauvegarde les données de Claude Mythos et Fable 5 pendant 30 jours, alors toutes les entreprises qui exigent une conservation nulle des données ne pourront tout simplement pas les utiliser. »

Clément Delangue, PDG de Hugging Face, a présenté les événements de la semaine dans un argument plus large :

« La concentration du pouvoir, des capacités et de la richesse économique constitue le plus grand risque de l'IA », a écrit. « Nous avons plus que jamais besoin de science ouverte et d'open source ! »

Autre utilisateur ajouté: « Blague à part, il est très clair qu'Anthropic est la voie directe vers la pire sorte de dystopie. Son PDG est contre la technologie même qu'il crée. Restreindre les connaissances et l'éducation sur des sujets liés à l'apprentissage automatique est tout simplement méprisable. »

Fable 5 est gratuit sur les forfaits Pro, Max, Team et Enterprise jusqu'au 22 juin. Après cette date, il passera aux crédits d'utilisation uniquement (frais API, pas d'inclusion dans l'abonnement) et Anthropic affirme qu'il rétablira un accès plus large « dès que la capacité augmentera ».