Une demande de subvention est arrivée chez Claude, son filtre de sécurité l'a capté et refusé. Quelques jours plus tard, le même opérateur était de retour et les invites refusées auraient été transférées à un modèle d'IA rival.
Anthropic a publié cette histoire sur elle-même, révélant un cas dans lequel une société d'IA montre ses propres modèles touchant à d'éventuels travaux sur les armes biologiques.
La subvention bloquée
La demande visait à obtenir des fonds pour étudier le chikungunya, un virus transmis par les moustiques qui provoque des mois de douleur et n'a aucun remède. Le plan était de l’aider à mieux se propager et à esquiver le système immunitaire. Des scientifiques civils l'ont écrit. Un institut militaire devait accueillir les travaux.
Chaque échange a été bloqué, mais une solution a été trouvée. Le service transportant ces chercheurs a construit une solution de repli vers le modèle d'un concurrent. Claude a aidé à écrire ce code. Le travail lui a été vendu comme une solution à un refus excessif.
Cinq cas, aucune intention prouvée
Le rapport compte 154 pages et présente cinq cas de biologie. Anthropic a interdit les comptes, a retenu les laboratoires, puis s'est arrêté avant de porter l'accusation à laquelle tout le monde s'attendait.
« Nous n'affirmons pas qu'ils avaient l'intention de nuire, et les identifier ou identifier leurs laboratoires pourrait les exposer à un danger », a déclaré l'équipe dans le rapport.
Il convient toutefois de noter que les filtres fonctionnaient parfois. Un chercheur sur la grippe aviaire a été poussé vers des modèles plus faibles et des appels anthropiques qui aident principalement les employés.
Les cas d’armes biologiques anthropiques en chiffres
| Chiffre | Ce que ça compte |
|---|---|
| 154 | Pages dans le rapport |
| 5 | Cas de biologie publiés |
| 35 | Des efforts de recherche découverts lors d'une enquête menée sur 30 jours auprès d'institutions liées à l'État |
| 1 heure | Temps mis par un utilisateur pour rédiger une subvention famille variole sur Opus 5 |
Suivez-nous sur X pour recevoir les dernières nouvelles au fur et à mesure
La partie qui devrait inquiéter les gens
La plupart de ces 35 efforts concernaient la science civile ordinaire. C'est là le problème. La même connaissance permet de fabriquer un vaccin ou une arme, et un filtre ne peut pas lire dans les pensées.
« Un classificateur ne peut pas simultanément permettre un bénéfice et prévenir un préjudice », a déclaré Anthropic.
Ses limites ont déjà été testées. En avril, un groupe Discord a atteint sa version restreinte dès le premier jour.
Face à ces craintes croissantes, Washington agit. avec les représentants Ted Lieu et Nathaniel Moran déposant l'AI Kill Switch Act en juillet. Cela obligerait les développeurs à conserver le pouvoir d’arrêter leurs systèmes.
Le même rapport interdit également les clients qui utilisaient Claude pour traquer des dissidents.
Le message Anthropic déclare que l'IA a aidé à la recherche sur les armes biologiques possibles est apparu en premier sur BeInCrypto.