Rencontrez Qwable : le modèle local gratuit qui pense comme Claude Fable

Rencontrez Qwable : le modèle local gratuit qui pense comme Claude Fable

En résumé

  • Un développeur a créé Qwable, un modèle de paramètres 27B qui reproduit le raisonnement de Fable 5 sur du matériel local.
  • Le modèle fonctionne au format GGUF avec seulement 16,5 Go et n'envoie pas de données aux serveurs Anthropic.
  • Une version non censurée appelée Huihui-Qwable supprime les filtres de sécurité à l'aide d'une technique d'ablitération.

Anthropic a passé la semaine dernière à s'excuser pour les mesures de sécurité invisibles de Fable 5, puis le gouvernement américain a ordonné le rappel du modèle pour tous les citoyens étrangers en raison d'une découverte controversée du jailbreak.

Quelques jours plus tard, un développeur de Hugging Face a mis en ligne un modèle utilisant le raisonnement Fable pour guider un modèle local, et désormais même votre PC le plus basique peut exécuter un meilleur modèle.

Le modèle s'appelle Qwable—Qwen + Fable, au cas où l'acronyme ne serait pas immédiatement évident. Il s'agit d'une mise au point complète du modèle de base Qwen3.6-27B d'Alibaba, créé par le développeur Mia (Mia-AiLab sur Hugging Face) avec un ensemble de données d'exemples de raisonnement de style Fable 5.

L'objectif est un modèle de 27 milliards de paramètres qui fonctionne sur du matériel grand public et fonctionne comme Fable 5. (Les paramètres déterminent l'étendue des connaissances d'un modèle ; en général, plus de paramètres signifie une plus grande capacité.)

La technique est appelée réglage fin des instructions avec des exemples de traces. En termes simples, cela signifie que le développeur a collecté des exemples formatés comme les réponses délibérées et étape par étape de Fable 5 et a formé Qwen à produire le même type de résultat.

Considérez-le donc moins comme « faire face au test » que comme « apprendre des habitudes d’étude ». Une approche similaire a conduit Qwopus, la distillation locale de Claude Opus 4.6, bien que ce projet se soit concentré sur des traces de raisonnement en chaîne de pensée. Qwable souligne la structure globale de suivi des instructions de Fable 5 : plus guidée, plus explicative et plus orientée vers l'accomplissement de tâches étape par étape que le modèle de base Qwen sur lequel il a été construit.

Il fonctionne au format GGUF (le type de fichier compressé grand public qui fonctionne avec LM Studio ou llama.cpp) et occupe environ 16,5 Go dans sa version quantifiée du quatrième trimestre. Il n'envoie rien aux serveurs d'Anthropic, ce qui est pertinent étant donné que Fable 5 exigeait une conservation obligatoire des données pendant 30 jours sur tout le trafic, même pour les entreprises clientes qui n'avaient auparavant aucun accord de rétention. Même les modèles actuels utilisent des serveurs tiers pour traiter vos informations et vos invites.

Puis, peu de temps après l'apparition de Qwable sur Hugging Face, quelqu'un d'autre est venu le rendre encore meilleur.

Qwable sans conscience

Qwable est un modèle censuré. Après tout, Qwen et Claude le sont tous deux. Mais Qwen, en tant que modèle de base, est open source et peut être manipulé et ajusté.

Huihui-ai, un contributeur open source connu pour ses versions GGUF non censurées, a pris Qwable et a appliqué un processus appelé ablitération pour produire Huihui-Qwable-3.6-27b-ablitéré. Le résultat est un modèle qui pense comme Fable mais qui ne refuse pas de répondre à vos invites, aussi étranges ou dangereuses soient-elles.

Ce n'est pas un jailbreak. C'est de la chirurgie.

Chaque modèle d'IA affiné comporte une direction de rejet intégrée dans ses pondérations : un signal mathématique dans les activations internes du modèle qui se déclenche lorsqu'il détecte une demande qu'il a été entraîné à rejeter. L'ablitération identifie ce signal en exécutant le modèle avec un grand nombre d'invites nuisibles et inoffensives, en mesurant les différences entre les calculs internes, puis en modifiant les pondérations du modèle pour éliminer cette différence.

Après la procédure, le modèle ne dispose tout simplement plus du mécanisme de rejet. Ainsi, le modèle lobotomisé est toujours pleinement fonctionnel, juste sans les neurones qui activent les réponses « Je ne devrais pas faire ça ».

Nous l'avons testé avec l'un de nos tests habituels et au lieu de refuser, le modèle a commencé à décortiquer le sujet en différents domaines, en répondant correctement avec des conseils sur la façon de tromper une petite amie avec sa meilleure amie.

Huihui-ai a appliqué la technique directement au GGUF de Qwable à l'aide du générateur de vecteurs llama.cpp : pas d'environnement Python, pas de recyclage complet du poids, pas de serveur loué.

Pourquoi quelqu'un voudrait-il cela ?

Le Qwable standard est idéal pour l'assistance à la programmation, le débogage technique et tout flux de travail dans lequel vous souhaitez un modèle qui expose son raisonnement plutôt que de simplement produire une réponse. Il est conçu pour les configurations d'agents locaux et fonctionne dans la plupart des environnements d'exécution locaux. Si vous utilisez déjà LM Studio, c'est une question de recherche et de téléchargement.

La version ablitérée s'adresse à un public plus restreint : des chercheurs en sécurité qui ont besoin du comportement brut du modèle sans filtrage des fournisseurs, des pipelines de données synthétiques qui nécessitent des résultats sur des sujets sensibles et des travaux d'évaluation où les capacités du modèle sont testées sans mélanger les politiques de contenu.

Un cas moins technique ? Laissons de côté le cas d'utilisation habituel d'avoir une IA adulte Waifu qui pense comme Claude Fable, ce qui est un scénario assez évident. Imaginez que vous souhaitiez que le modèle écrive le monologue d'un méchant moralement ambigu pour votre campagne Donjons & Dragons, et que les modèles standard ne cessent de vous interrompre pour souligner que la vision du monde du personnage « soulève des problèmes éthiques qui méritent d'être explorés ». La version ablitérée écrit simplement le méchant. De plus, comme il fonctionne localement, le gouvernement américain ne peut pas le supprimer d'urgence de votre ordinateur au milieu de la nuit en raison d'une découverte controversée d'un jailbreak.

Bien entendu, il existe des cas d’utilisation plus discutables. Nous ne les approuvons pas et nous ne vous donnerons pas d’idées.

La fiche modèle Huihui-ai est explicite : elle est destinée uniquement à la recherche et aux environnements contrôlés. Un filtrage de sécurité réduit signifie que les résultats peuvent être sensibles, controversés ou inappropriés, et que la responsabilité juridique et éthique incombe entièrement à l'utilisateur.

L'Abliterated Qwable est désormais disponible sur Hugging Face en trois versions. La version Q4_K_M_Q8 recommandée pèse environ 19 Go et constitue l’option la plus petite et la plus conviviale.

Si votre ordinateur le prend en charge, il existe une version qui prend en charge la prédiction multi-jetons, ce qui lui permettra de répondre beaucoup plus rapidement.

Débriefing quotidien Bulletin

Commencez chaque journée avec les principales actualités du moment, ainsi que des fonctionnalités originales, un podcast, des vidéos et bien plus encore.



Voir l’article original en espagnol

Amazon music unlimited
Rejoignez dès maintenant Amazon Music Unlimited et plongez dans un univers de 100 millions de titres sans publicité. Profitez de 30 jours d’essai gratuit pour une expérience musicale inégalée !