Police Avon et Somerset et le conseil municipal de Bristol a cessé d'utiliser au moins deux modèles d'IA évaluant le risque de criminalité contre les enfants. La raison en était une faible précision et il s'est avéré presque impossible de vérifier les systèmes – les auditeurs indépendants n'ont pas trouvé le code source et la liste des variables, écrit WIRED.
La publication, en collaboration avec le groupe de défense des droits de l'homme Liberty Investigates, le média local Bristol Cable et la rédaction à but non lucratif Lighthouse Reports, a analysé des centaines de pages de documents obtenus grâce à des demandes d'accès à l'information. Le matériel a été publié dans le contexte du lancement de PoliceAI, un centre national pour tester et mettre à l'échelle les outils d'IA au sein des forces de police d'Angleterre et du Pays de Galles.
Comment Bristol a collecté les données
Il s'agit de la base de données Think Family, une base de données du conseil municipal de Bristol lancée en 2016 pour travailler avec les familles et les enfants qui pourraient avoir besoin de soutien. Selon WIRED, il pourrait inclure les dossiers de près de 500 000 habitants de la ville, bien que la page du projet indique désormais qu'il y a environ 55 000 familles. Cet écart peut s'expliquer par des différences entre les dossiers individuels et les profils familiaux.
La base de données Think Family a rassemblé des données policières et sociales : statut de logement, santé mentale, grossesses adolescentes, participation à des cours d'éducation parentale, absentéisme et réception de repas scolaires gratuits. Selon la publication, les informations ont été collectées sans le consentement direct des résidents, en utilisant des bases juridiques pour l'échange d'informations entre agences gouvernementales.
Un spécialiste des données de la police a décrit l’approche comme un mélange de différents ensembles d’informations.
«J'ai tout mis dans un grand seau», dit-il.
À l’aide de la base de données Think Family, les forces de l’ordre et les autorités ont créé des modèles d’apprentissage automatique attribuant des scores de risque aux adultes et aux enfants. Les journalistes connaissent au moins 23 modèles de la police d'Avon et du Somerset – depuis la prévision des cambriolages et des non-comparutions au tribunal jusqu'au risque de disparition de personnes et la probabilité d'être victime de violence domestique.
En parallèle, l'application Offender Management était en cours d'exécution, ciblant environ 300 000 personnes dans la région. Un officier supérieur a qualifié cela de base pour une « direction » des criminels les plus dangereux.
Pourquoi les modèles ont-ils été désactivés ?
Un des premiers modèles évaluait le risque de crimes contre les enfants. Selon WIRED, ces données incluaient des données provenant de la police, du conseil municipal et d'autres agences gouvernementales, ainsi que des informations anonymisées de l'association caritative Barnardo's sur 1 000 enfants qui ont déjà souffert de tels crimes.
La notation a également été influencée par :
- statut de l'enfant ayant besoin d'assistance;
- absence constante de l'école;
- problèmes de santé mentale.
Un autre modèle prenait en compte l’aide au logement, les arriérés de loyer et la gratuité des repas scolaires.
En 2016, le comité de déontologie policière avait prévenu que les données et variables choisies pourraient conduire à des biais algorithmiques. Il a recommandé d'utiliser le système avec prudence et d'expliquer au public à l'avance pourquoi et comment ces analyses sont utilisées.
Le projet a ensuite été évalué par l’organisation britannique de conseil à but non lucratif Social Finance. L’examen a identifié la notation des risques comme l’élément le plus faible, et la faible précision comme un facteur qui affaiblissait la valeur pratique des modèles. Au moment de l'audit, deux modèles d'évaluation du risque de crimes contre les enfants avaient déjà cessé d'être utilisés, écrit WIRED.
Social Finance a lié la détérioration de la qualité du modèle aux changements dans l’ensemble de données. La police a tenté d'étendre cette approche à l'ensemble de la région d'Avon et du Somerset, qui couvre cinq conseils locaux, mais n'a pas accepté de partager les données avec toutes les autorités locales. En conséquence, les modèles sont restés majoritairement policiers « de base », sans les indicateurs sociaux précédents.
Selon les journalistes, le personnel de la ville de Bristol s'est plaint du fait que les enfants vulnérables n'étaient pas inclus dans les résultats. Un travailleur a écrit que les mineurs récemment victimes d'un crime pouvaient recevoir des scores inférieurs à ceux impliqués dans des affaires de cambriolage. D’autres employés ont déclaré qu’ils étaient réticents à se fier aux évaluations en raison de la méthodologie opaque.
Social Finance n’a pas non plus pu tester complètement les modèles : le code source et la liste des variables n’ont pas pu être trouvés. Selon WIRED, ni la police ni le conseil municipal de Bristol n'avaient conservé de documents sur la décision d'abandonner deux modèles d'évaluation des risques de crimes contre les enfants d'ici juin 2023.
Ce que l'audit a montré
Par ailleurs, WIRED a reçu plus de 36 000 évaluations de performances de la part de la police sur 13 modèles utilisés ou testés entre 2017 et 2024. La publication a remis le tableau à la société d'audit Eticas. Ils sont arrivés à la conclusion que la plupart des modèles avaient une faible précision des réponses positives. Autrement dit, le système a signalé par erreur une proportion importante de personnes comme présentant un risque.
Selon ces données, le modèle d'identification des cambrioleurs potentiels depuis plus de trois ans a montré une précision des détections positives inférieure à 10 % : moins d'une personne sur dix repérée par le système a effectivement commis un tel délit. Les auditeurs ont également indiqué qu'une telle performance n'était pas typique des modèles bien gérés en utilisation opérationnelle.
La police a déclaré à WIRED que certains modèles, y compris un outil anti-effraction, n'avaient pas été mis en œuvre. Le ministère a expliqué la présence d'évaluations à long terme de leurs performances par une vérification automatique d'un fichier statique qui n'a pas été supprimé après l'abandon de la mise en œuvre.
Par ailleurs, le site Web indique que certains outils du département utilisent l'IA et que les résultats des algorithmes ne sont utilisés que comme signal de recommandation pour les employés. La police a souligné que les modèles ne prennent pas de décisions automatiquement.
Le conseil municipal de Bristol a déclaré qu'il n'utilisait actuellement que le modèle de risque NEET – une estimation de la probabilité qu'un enfant ne soit pas scolarisé, ne travaille pas ou ne suive pas de formation après avoir quitté l'école. Cet outil ne remplace pas le jugement professionnel, ont déclaré les responsables.
PoliceIA
L'histoire s'est déroulée dans le contexte d'options croissantes pour l'utilisation de l'intelligence artificielle dans les forces de l'ordre du pays, PoliceAI. Le 10 juin, le ministère de l'Intérieur du Royaume-Uni a lancé un centre de test et de mise à l'échelle des outils d'IA dans 43 services de police d'Angleterre et du Pays de Galles. Le budget du projet était de 75 millions de livres sterling sur trois ans.
Au cours de sa première année, PoliceAI se concentrera sur les outils permettant d'analyser, de découvrir et de résumer les preuves numériques. Le procès devrait se dérouler dans dix départements en 2026-2027, puis s'étendre à l'ensemble des forces de police.
PoliceAI opère à partir du College of Policing, l'organisme professionnel responsable des normes et de la formation des agents chargés de l'application des lois en Angleterre et au Pays de Galles. Il est dirigé par l'ancien chef de la police d'Avon et du Somerset, Andy Marsh.
WIRED a attiré l'attention sur ce lien : dans la région où l'analyse controversée de l'IA a été développée, travaillait le chef d'une structure désormais impliquée dans le développement de l'intelligence artificielle pour la police. Dans ce contexte, l’affaire Bristol montre que les risques de tels modèles concernent non seulement l’exactitude des algorithmes, mais aussi la qualité des données, la conservation de la documentation et la possibilité d’une vérification indépendante.
La publication avait précédemment fait état d'un résident du Maryland, Alonzo Sawyer, qui a passé neuf jours en prison après avoir effectué une correspondance erronée dans un système de reconnaissance faciale.
Auparavant, le maire de Londres, Sadiq Khan, avait bloqué le contrat de la division britannique de Palantir avec la police métropolitaine pour près de 50 millions de livres sterling. L'accord prévoyait la mise en œuvre du système analytique Unified Operational Analytics basé sur l'intelligence artificielle pour accélérer les enquêtes criminelles. Cependant, le maire de la ville a opposé son veto à l'accord, invoquant de « graves irrégularités » dans la procédure de passation du marché.
Rappelons qu'en 2023, il est devenu connu que le Federal Bureau of Investigation des États-Unis, en collaboration avec le Pentagone, développait et testait secrètement un système de reconnaissance faciale depuis de nombreuses années.
Vous avez trouvé une erreur dans le texte ? Sélectionnez-le et appuyez sur CTRL+ENTRÉE
Voir l’article original en russe
