Les préjugés dans l’intelligence artificielle (IA) constituent une préoccupation majeure pour les chercheur·euse·s, les éthicien·ne·s et les responsables des politiques. Si les systèmes d’IA peuvent sembler neutres, ils codifient, reflètent et amplifient souvent les préjugés sociétaux intégrés dans les données avec lesquelles ils sont entraînés. Ces préjugés se manifestent dans de nombreux secteurs et apparaissent dans les modèles de langage, les systèmes de reconnaissance faciale, les outils d’embauche, les algorithmes de surveillance et les diagnostics de santé.
Le contenu suivant fournit un regard neuf sur les dernières recherches, le journalisme d’enquête et les développements politiques en matière de préjugés dans l’IA. Il met en évidence le chemin parcouru pour comprendre et traiter ce problème, ainsi que les efforts en cours pour rendre l’IA plus juste et équitable.
Préjugés dans les modèles de langage et le traitement du langage naturel
Les grands modèles de langage (GML), comme les transformeurs génératifs préentraînés et LLaMA, ont montré des préjugés persistants fondés sur la race, le genre, la religion et la classe sociale. Une étude de 2024 analysant 77 GML a révélé que la plupart d’entre eux démontraient des biais endogroupes et de dérogation de l’autre groupe, reflétant les préjugés sociaux humains.
Des analyses plus approfondies ont révélé que la plupart des stratégies d’atténuation ont été mises en œuvre principalement en anglais, ce qui a entraîné la propagation de stéréotypes occidentaux dans d’autres langues, un phénomène qualifié de « colonialisme numérique ». Par exemple, les systèmes d’IA ont véhiculé des tropes genrés, comme le stéréotype de la « blonde idiote », dans des langues où ils n’existaient pas auparavant.
Certains modèles renforcent également les préjugés en fabriquant des citations érudites pour justifier des affirmations préjudiciables, une pratique qu’une personne spécialiste en recherche a qualifiée de « justifications hallucinées ».
Préjugés dans les systèmes de reconnaissance faciale
Les logiciels de reconnaissance faciale ont montré d’importantes disparités de performance entre les groupes démographiques. Le National Institute of Standards and Technology (NIST) des États-Unis a rapporté en 2019 que la plupart des systèmes commerciaux présentaient des taux de faux positifs (mauvaise correspondance) plus élevés pour les visages noirs, asiatiques et féminins. L’auteure Joy Buolamwini a raconté comment les outils de reconnaissance faciale ne détectaient pas son visage avant qu’elle porte un masque blanc, mettant ainsi en évidence les préjugés raciaux systémiques dans les modèles de vision par ordinateur.
Utilisée par les forces de l’ordre, la reconnaissance faciale a mené à des arrestations illégales, affectant de manière disproportionnée les hommes noirs. Amnistie Internationale a qualifié ces applications au Royaume-Uni comme étant une forme de « racisme automatisé ».
Préjugés dans les algorithmes d’embauche et de recrutement
Les outils de recrutement pilotés par l’IA ont montré une tendance à reproduire les préjugés historiques liés au genre et à la race. Par exemple, l’outil d’IA de sélection de CV d’Amazon, qui a été abandonné, pénalisait les candidatures féminines en dévalorisant les mentions d’activités « féminines ».
Les outils d’entretien vidéo ont démontré des préjugés linguistiques et capacitistes, pénalisant injustement les personnes ayant une langue maternelle différente et les personnes en situation de handicap en raison de leur voix ou de détails faciaux atypiques que les algorithmes interprètent négativement.
Préjugés dans le maintien de l’ordre prédictif et la justice pénale
Les critiques ont largement condamné les logiciels de maintien de l’ordre prédictif qui renforcent le profilage racial. Une enquête de 2023 a révélé que le logiciel PredPol ciblait de manière disproportionnée les communautés de personnes de couleur, malgré une faible précision des prédictions.
Amnistie Internationale a constaté que 32 des 45 corps policiers britanniques utilisaient des outils de prévision qui renforçaient les schémas racistes d’application de la loi. Aux États-Unis, des arrestations illégales liées à des outils de reconnaissance faciale erronés ont donné lieu à des poursuites et à des réactions négatives de la part du public.
Préjugés dans les algorithmes de soins de santé
Une étude réalisée en 2019 a révélé qu’un algorithme de risque largement utilisé dans les soins de santé était discriminatoire à l’égard de la patientèle noire en l’identifiant comme présentant un risque plus faible. L’algorithme utilisait les dépenses de santé comme indicateur des besoins, ce qui désavantage cette patientèle qui, en raison d’un accès réduit aux soins, dépense généralement moins, même si ses besoins en matière de santé sont plus élevés.
D’autres études ont montré que les outils de diagnostic sont moins performants sur les peaux plus foncées et que les notes cliniques contiennent souvent un langage racialisé, ce qui peut biaiser les systèmes d’IA en aval.
Manifestations plus larges de préjugés de l’IA
Les générateurs d’images d’IA présentent souvent les professions à statut élevé comme étant blanches et masculines, tandis que les rôles à statut faible ou la criminalité sont représentés par des personnes de couleur. De même, les systèmes automatisés de modération de contenu ont fait preuve de préjugés sexistes en signalant les images de femmes comme explicites plus souvent que celles d’hommes dans des contextes équivalents.
Efforts d’atténuation
De nombreuses organisations s’efforcent de lutter contre les préjugés de l’IA, notamment l’Algorithmic Justice League, le Distributed AI Research Institute (DAIR) et Hugging Face. Parmi les réponses politiques, on peut citer le projet de la Maison-Blanche des États-Unis intitulé Blueprint for an AI Bill of Rights, le règlement sur l’IA de l’Union européenne et la Loi sur l’intelligence artificielle et les données (LIAD) du Canada. Les réglementations de la FDA et du HHS propres à la santé exigent désormais la divulgation des préjugés et la transparence concernant les outils d’IA.
La lutte contre les préjugés de l’IA nécessite une action collective
Les préjugés dans l’IA ne sont pas un défaut technique : ils reflètent des inégalités structurelles. Bien que la prise de conscience soit croissante et que des mesures réglementaires soient en cours, l’atténuation reste inégale. Les développeur·euse·s, les vérificateur·rice·s et les communautés doivent s’engager activement dans des développements inclusifs, mener des vérifications indépendantes et participer à la prise de décisions pour s’assurer que l’IA sert tout le monde de manière équitable.