Discriminations et exclusions
Retour à la table des matières
Revue Droits et libertés, printemps / été 2022
Lyne Nantel, chercheuse et autrice de l’Avis sur l’utilisation de systèmes de décision automatisée par la ville de Montréal du Conseil jeunesse de Montréal*
Entrevue réalisée par Martine Éloy, militante au comité surveillance des populations, IA et droits humains de la LDL et membre du CA de 2002 à 2022 et Dominique Peschard, militant au comité surveillance des populations, IA et droits humains de la LDL et président de 2007 à 2015
Qu’entend-on par ville intelligente?
Toutefois, il faut noter que la ville intelligente, la smart city, a été largement promue comme une sorte de mot d’ordre qui
L’expression « ville intelligente » (VI) est apparue au tournant des années 2000, elle visait à marquer un virage. Les villes allaient dorénavant s’appuyer sur les nouvelles technologies pour leur développement, pour assurer leurs services et l’ensemble de leur fonctionnement.
Dans les faits, une VI n’est rien de plus qu’une ville qui prend le tournant numérique, comme on le voit dans l’ensemble des sphères de la vie. Il n’y a donc pas un modèle, mais des modèles, certains où la technologie et le numérique sont d’abord des finalités et d’autres ou le numérique est simplement un moyen parmi d’autre de développer les services urbains.
Toutefois, il faut noter que la ville intelligente, la smart city, a été largement promue comme une sorte de mot d’ordre qui allait favoriser des solutions et des innovations aux enjeux environnementaux, de mobilité, de gestion des ressources, etc. Dans ce modèle de développement urbain les entités privées jouent un rôle important en tant que fournisseurs de services technologiques. Ces entreprises ont intérêt à faire miroiter un solutionnisme technologique pour faire face aux défis que rencontrent les villes. Comme on le dit dans l’Avis :
Cette adhésion, cette confiance à l’endroit des technologies comme réponse à un problème fait écho à une idée répandue : le solutionnisme technologique. Cette notion traduit une tendance forte à convertir les problèmes sociaux complexes en problèmes technologiques. Selon ce raisonnement, le développement continu de la science des données conduit à des outils de décision toujours plus performants, précis et efficaces.
Qu’entend-on par un système de décision automatisé (SDA)? Pouvez-vous donner des exemples de SDA dans le contexte d’une ville?
Un système de décision automatisé (SDA) est une notion de plus en plus utilisée qui renvoie à l’ensemble des données, des algorithmes et du traitement qui est fait dans le but d’aider, d’assister ou de remplacer la prise de décision humaine. C’est une notion plus précise que l’intelligence artificielle. Pour l’Avis au Conseil jeunesse de Montréal, nous avons retenu la définition de SDA du Conseil du trésor du Canada.
Au niveau des administrations publiques, les SDA sont de plus en plus exploités dans divers domaines: la justice, la police, les finances, les assurances, en éducation, assistance sociale; immigration… pour faire des prédictions, générer des scores ou des niveaux de risques. À l’échelle des villes, l’utilisation de SDA est variable en raison des compétences et du rôle des municipalités qui diffèrent d’un pays à l’autre.
Prenons l’exemple de systèmes automatisés de synchroni- sation des feux de circulation basés sur des capteurs de densité de la circulation. Ces systèmes peuvent améliorer la fluidité du trafic automobile, mais est-ce l’objectif visé? Veut-on investir seulement dans l’amélioration du trafic automobile ou dans des alternatives à l’automobile? L’implantation du numérique devrait à mon avis plutôt augmenter les options de mobilité pour l’ensemble des citoyens.nes sans exclure des personnes qui n’utilisent pas ces outils de l’offre de services publics.
La chercheuse Virginia Eubanks démontre comment des logiciels devant faciliter la gestion de ressources pour des personnes en situation d’itinérance peuvent avoir des conséquences négatives pour ces personnes. En effet, à partir de l’indice de vulnérabilité, l’outil d’aide à la décision peut exclure certaines personnes des programmes d’aide prioritaire. Par exemple, une personne qui quitte un établissement carcéral sera classée comme ayant eu un hébergement stable au cours des mois précédents, ce qui abaissera son indice de vulnérabilité et, par conséquent, réduira sa possibilité d’accéder aux ressources d’aide au logement. En fait, le recours au SDA dans ces cas sert à gérer un manque de ressource plutôt que de répondre aux besoins des bénéficiaires.
Les systèmes de réponse automatisés sont souvent présentés comme servant à améliorer le service. La numérisation de certains services risque toutefois de désavantager les personnes qui ne sont pas à l’aise avec ces systèmes ou qui ne possèdent pas les outils technologiques nécessaires pour communiquer en ligne.
Les services de polices sont aussi reconnus pour utiliser un type de logiciel qu’on appelle de police prédictive; l’objectif étant de cibler des lieux de manière préventive ou encore d’identifier des individus susceptibles d’avoir des liens avec la criminalité. Jusqu’en 2020, la police de Chicago avait une liste d’individus classés en fonction du niveau de risque qu’ils étaient supposés représenter.
[…] une personne qui quitte un établissement carcéral sera classée comme ayant eu un hébergement stable au cours des mois précédents, ce qui abaissera son indice de vulnérabilité et, par conséquent, réduira sa possibilité d’accéder aux ressources d’aide au logement.
Quels sont les domaines où l’utilisation de SDA pose le plus de danger? Quels sont-ils?
En fait lorsque la décision risque d’avoir un impact sur les droits et libertés des individus et des collectivités, c’est là qu’il y a un danger. Les outils de police prédictive présentent de grands risques de discrimination et de profilage racial puisque ces outils utilisent des données de police qui sont déjà biaisées, quand on sait que les personnes racisées sont victimes de profilage et sont plus souvent visées par les interpellations policières.
Il y a aussi des enjeux de vie privée. Prenez les lecteurs automatisés de plaques d’immatriculation qu’utilise le projet pilote de stationnement intelligent de l’Agence de mobilité durable de Montréal. Un traitement croisé de données pourrait permettre de prédire le lieu de travail d’une personne ou encore le lieu de culte qu’elle fréquente. La question est de savoir qui a accès à ces données ou qui peut avoir accès à ces données.
Quand on pense à ville intelligente, on pense au projet Sidewalk Lab de Toronto. Quel était ce projet et pourquoi a-t-il été rejeté?
J’ai évoqué l’intérêt des entreprises privées en tant que fournisseurs de services technologiques pour qui les villes constituent des bancs d’essais intéressant. Les villes manquent souvent de ressources pour améliorer la qualité de leur service et cherchent à augmenter leur attractivité, surtout auprès des entreprises numériques.
Le projet Quayside Toronto est emblématique de cette idée de la ville comme laboratoire pour le numérique. Lancé en 2017, Sidewalk Labs, l’une des branches d’Alphabet-Google, et l’agence de développement urbain Waterfront Toronto se sont associés pour construire un quartier hyperconnecté et géré en temps-réel où capteurs, données et algorithmes assureraient la gestion de l’énergie, du transport, des déchets… Dans un tel projet, la captation de données est continue. L’opposition au projet a été assez grande1 et les citoyens et citoyennes réclamaient des réponses quant à la protection et l’utilisation des données. L’absence de réponse et de transparence a fait que ce projet n’a jamais reçu l’acceptabilité sociale pour aller de l’avant et le projet a été abandonné en 2020. En plus de soulever des questionnements importants concernant les partenariats public-privés et les droits de la personne, cet exemple démontre l’importance de concevoir les projets selon des principes démocratiques, participatifs et délibératifs. Il faut que les gens soient informés et ils doivent pouvoir se prononcer, s’exprimer et s’opposer à de tels projets s’ils jugent que ceux-ci ne répondent pas à l’intérêt général et ne respectent pas leurs droits.
Y a-t-il des SDA déjà en opération à Montréal? Y a-t-il des projets en gestation?
C’est la grande question. Est-ce que le Service de Police de la Ville de Montréal (SPVM) utilise des logiciels de police prédictive ou de reconnaissance faciale? La réponse n’est pas claire. On sait que l’accès à des logiciels d’essai est facile. Même si le SPVM n’a pas officiellement fait l’acquisition de ces logiciels, un enquêteur se serait-il servi sur une base individuelle de la reconnaissance faciale pour une enquête?
Comme je vous dis, il est difficile de savoir exactement ce qui se développe, car souvent on innove et on ne pense aux conséquences qu’après coup. On ne se soucie pas d’être transparent, d’expliquer la finalité du projet et de le soumettre au débat public.
Le projet des abribus intelligents débuté en 2018 dans le Laboratoire à ciel ouvert de la vie intelligente (Lab-Vi), impliquant Vidéotron, ETS, le quartier de l’innovation, l’entreprise Ericsson, est un bon exemple. Ces abribus dotés de capteurs biométriques sont présentés comme permettant d’améliorer le service en calculant s’il y a trop de gens qui attendent l’autobus à certains moments. Mais ce même projet inclut aussi des capteurs permettant d’évaluer leurs émotions. Pourquoi? En quoi la reconnaissance des émotions améliore le service public? Quand on lit sur le projet, on apprend que les capteurs permettront aussi de mesurer l’intérêt démontré par les usagers à la vue d’une publicité affichée dans l’abribus, dans le but d’envoyer des publicités ciblées directement sur leurs téléphones mobiles. On peut comprendre l’intérêt de l’entreprise privée pour ce genre de projet, mais les usagers-ères ont-ils consenti à être épié-e-s de la sorte?
Quels mécanismes et balises devraient être mis en place avant d’implanter des SDA dans les services de la ville?
Parmi la liste des recommandations, il y a la tenue d’un registre des SDA ainsi que des données qui sont collectées dans les espaces publics urbains. Il faut s’avoir ce qui est collecté et à quelles fins. Cette transparence est essentielle.
La transparence ne suffit pas, car on peut être transparent mais ne pas avoir mis en place les mécanismes nécessaires pour évaluer correctement l’impact, la fiabilité et l’efficacité des outils technologiques. Un comité indépendant et représentatif responsable de faire une évaluation et de la rendre publique serait déjà une protection supplémentaire pour les citoyens. Ce n’est pas facile pour tout le monde de connaitre les impacts de telle ou telle technologie et de savoir si leurs données sont suffisamment protégées.
On collecte de plus en plus de données. Il faut prendre le temps de réfléchir aux problèmes qu’on souhaite résoudre par l’utilisation de technologies et mieux évaluer les impacts que cela pourrait avoir sur les droits. Il faut développer le réflexe de minimiser la collecte de données aux situations où celle-ci a une réelle utilité.
Enfin, on doit adopter une position ferme et claire pour un moratoire sur l’utilisation de la reconnaissance faciale comme l’ont fait d’autres villes, notamment certaines villes américaines.
La transparence ne suffit pas, car on peut être transparent mais ne pas avoir mis en place les mécanismes nécessaires pour évaluer correctement l’impact, la fiabilité et l’efficacité des outils technologiques.
*L’avis peut être consulté à : https://ville.montreal.qc.ca/pls/portal/docs/ page/cons_jeunesse_fr/media/documents/Avis_SDA.pdf
- Une campagne contre le projet Sidewalks a été menée notamment par l’Association canadienne des libertés civile (ACLU) qui avait déposé une poursuite en 2019 contre Waterfront.
En ligne : https://ccla.org/major-cases-and-reports/torontos-smart-city/#response