L\u2019intelligence artificielle promet de rep\u00e9rer les endroits o\u00f9 un d\u00e9lit pourrait survenir. Mais que pr\u00e9dit-elle lorsque ses archives racontent surtout les endroits o\u00f9 la police a d\u00e9j\u00e0 beaucoup contr\u00f4l\u00e9 ? C\u2019est le probl\u00e8me des \u00ab dirty data \u00bb, ces donn\u00e9es fa\u00e7onn\u00e9es par des pratiques contestables. Science & Vie revient sur ce risque : automatiser une d\u00e9cision ne suffit pas \u00e0 d\u00e9barrasser les informations de leur histoire.<\/p>\n
Une base d\u2019interpellations n\u2019est pas une photographie compl\u00e8te de la d\u00e9linquance. Elle enregistre aussi les priorit\u00e9s d\u2019un service, les lieux surveill\u00e9s et les situations qui ont donn\u00e9 lieu \u00e0 un signalement. Un quartier davantage patrouill\u00e9 peut produire davantage de faits enregistr\u00e9s, sans que cette diff\u00e9rence permette, \u00e0 elle seule, de mesurer toute la criminalit\u00e9 r\u00e9elle.<\/p>\n
C\u2019est une distinction essentielle pour comprendre le pr\u00e9dictif. Le mod\u00e8le apprend \u00e0 partir de ce qui est disponible. Si certaines populations ont subi une surveillance disproportionn\u00e9e, les donn\u00e9es peuvent transformer cette histoire institutionnelle en indicateur de risque. Retirer une information explicite comme l\u2019origine ne r\u00e8gle pas n\u00e9cessairement le probl\u00e8me : un lieu ou d\u2019autres variables peuvent conserver des liens avec les m\u00eames in\u00e9galit\u00e9s.<\/p><\/p>\n
L\u2019\u00e9tude universitaire Dirty Data, Bad Predictions, publi\u00e9e en 2019 par la NYU Law Review, analyse treize juridictions am\u00e9ricaines ayant utilis\u00e9 ou d\u00e9velopp\u00e9 des outils pr\u00e9dictifs dans un contexte de pratiques polici\u00e8res contest\u00e9es ou ill\u00e9gales. Rashida Richardson, Jason Schultz et Kate Crawford examinent notamment Chicago, La Nouvelle-Orl\u00e9ans et le comt\u00e9 de Maricopa. Le degr\u00e9 de documentation varie : l\u2019opacit\u00e9 emp\u00eache parfois de d\u00e9terminer pr\u00e9cis\u00e9ment quelles donn\u00e9es alimentent les syst\u00e8mes.<\/p>\n
Ce p\u00e9rim\u00e8tre compte. Ces travaux ne d\u00e9montrent pas que toutes les polices, tous les logiciels et tous les territoires pr\u00e9sentent un biais identique. Ils documentent un risque s\u00e9rieux dans des situations pr\u00e9cises. Ils montrent aussi pourquoi une promesse commerciale de neutralit\u00e9 ne remplace pas l\u2019examen des donn\u00e9es r\u00e9ellement utilis\u00e9es.<\/p>\n
La boucle peut ensuite se refermer : un secteur est signal\u00e9 comme risqu\u00e9, les patrouilles y augmentent, de nouveaux faits y sont enregistr\u00e9s et le syst\u00e8me semble avoir eu raison. Pourtant, une partie du r\u00e9sultat peut d\u00e9couler de la surveillance suppl\u00e9mentaire. Confondre cette r\u00e9troaction avec une validation ind\u00e9pendante revient \u00e0 laisser l\u2019outil fabriquer une partie de sa propre preuve.<\/p><\/p>\n
Un agent plac\u00e9 en bout de cha\u00eene ne garantit pas automatiquement une d\u00e9cision juste. Encore faut-il qu\u2019il connaisse les limites du score, puisse le contester et dispose d\u2019informations ext\u00e9rieures au syst\u00e8me. Sinon, la pr\u00e9sence humaine risque de devenir une signature appos\u00e9e sur une recommandation d\u00e9j\u00e0 trait\u00e9e comme objective.<\/p>\n
Les questions utiles sont donc concr\u00e8tes : d\u2019o\u00f9 viennent les donn\u00e9es, quelles pratiques les ont produites, quelles erreurs sont mesur\u00e9es et qui peut demander un r\u00e9examen ? Un audit doit pouvoir suivre ces choix, plut\u00f4t que se limiter \u00e0 une performance globale flatteuse. Dans un domaine o\u00f9 une pr\u00e9diction peut orienter des contr\u00f4les bien r\u00e9els, l\u2019exigence de transparence concerne les personnes expos\u00e9es aux d\u00e9cisions autant que les institutions qui ach\u00e8tent le logiciel.<\/p>\n
Sources : NYU Law Review : \u00e9tude originale.<\/p><\/p>\n\n\n