Les discriminations algorithmiques

Les choix au niveau des paramètres

Ces choix sont facilement visibles dans les algorithmes « simples », qui encodent des règles déterminées par les humains. Par exemple, en 2019, le France Travail autrichien a été épinglé : son équipe avait codé un logiciel pour prioriser les demandeurs d’emploi selon leur probabilité de retour à l’emploi. Le logiciel utilisait directement comme critère négatif le fait d’être une femme avec enfants (mais pas un homme avec enfants !).

Un autre exemple est Parcoursup : le ministère de l’enseignement supérieur met à disposition des équipes de sélection un logiciel d’aide à la décision (OAD) qui utilise comme critère principal les notes. Sciences Po Bordeaux a développé son propre outil, basé sur l’écart entre les notes de l’élève et la moyenne de la classe, et paramétré pour favoriser les boursiers, afin de promouvoir la diversité.

Un récent rapport du Défenseur des droits souligne que beaucoup des algorithmes de contrôles des allocataires (par la Cnam, la Cnav, la MSA par exemple) utilisent des critères tels que le genre, le lieu de résidence, ou la situation familiale.

Les choix au niveau des données

Quand les algorithmes sont entraînés sur des données pour faire des corrélations et établir des règles (comme dans le cadre des algorithmes de contrôle à la CAF, l’Assurance maladie, la Cnav…), celles-ci peuvent notamment :

• Reproduire les biais historiques présents dans la société : en 2020, un algorithme utilisé au Royaume-Uni pour prédire les notes du baccalauréat s’appuyait sur les résultats passés des lycées, pénalisant les bon·nes élèves issu·es d’établissements moins performants (et donc souvent de milieux socio-économiques défavorisés). Des travaux récents ont aussi montré que les outils d’IA générative utilisés pour les résumés minimisaient les problèmes de santé des femmes par rapport à ceux des hommes.
• Désavantager certaines populations du fait de manques ou de déséquilibres dans les données : en 2016, le projet Gender Shades a montré que les outils de reconnaissance faciale étaient moins performants sur les visages des femmes noires que sur ceux des personnes blanches, du fait du manque d’images de personnes noires dans les données d’entraînement. Dans la sphère sociale, la chercheuse Virginia Eubanks a montré qu’un logiciel de protection de l’enfance aux États-Unis surcontrôlait les populations précaires, sur lesquelles l’administration détenait plus de données, rendant la maltraitance plus difficile à déceler chez les familles aisées.

Même si les règles ne sont pas directement décidées par des humains, ceux-ci font des choix par rapport aux données d’entraînement. La difficulté est que dans les algorithmes apprenants, ces biais restent opaques et difficilement auditables. À noter : beaucoup d’algorithmes administratifs reposent sur des méthodes statistiques compréhensibles (voir notre autre FAQ).

Le choix de résoudre un problème par un algorithme

Enfin, le choix même de créer un algorithme est politique. Parcoursup n’existerait pas s’il y avait assez de places dans l’enseignement supérieur ; la CNAF pourrait investir dans l’information des allocataires plutôt que dans leur contrôle. Ainsi, se concentrer sur une réponse algorithmique nous détourne parfois des problèmes politiques et des solutions allant vers une vraie justice sociale.

Jusqu’ici, nous avons parlé de choix. Mais alors, qu’est-ce qu’un biais ? En langage statistique, un biais est toute déviation d’une norme. Ici, on parle plutôt de biais pour désigner les « biais moraux », soit des résultats qui vont désavantager certaines personnes ou groupes de personnes. Ainsi, tout algorithme a des partis-pris, mais la question est de savoir à qui ces choix profitent.

La discrimination est une notion juridique et un droit humain. Plusieurs critères doivent être remplis (voir question suivante).

Dans tous les cas, l’intentionnalité n’entre pas en jeu : c’est la responsabilité des administrations de s’assurer que les algorithmes ne sont pas néfastes. Le Défenseur des droits considère qu’actuellement, les administrations sociales manquent à leurs obligations en n’évaluant pas assez les effets des algorithmes sur les usagers.

Il y a discrimination quand une personne est traitée moins favorablement du fait d’un critère protégé. En droit français, on distingue :

• La discrimination directe, où le critère protégé est directement utilisé, par exemple, l’âge, le sexe, l’origine ethnique.
• La discrimination indirecte, où, même si aucun critère protégé n’est utilisé, certaines personnes sont désavantagées. C’est le cas si l’algorithme utilise des proxys. Par exemple, envoyer régulièrement des courriers papiers à un organisme de sécurité sociale pourrait être un proxy d’être une personne âgée.

Ces critères peuvent être utilisés à deux conditions : si la différence de traitement est justifiée par un but légitime, et si les moyens de parvenir à ce but sont « nécessaires et appropriés ».

Les algorithmes de ciblage des contrôles surcontrôlent les personnes vulnérables, dont les dossiers contiennent statistiquement plus d’erreurs. Or, le Défenseur des droits considère que le but des contrôles n’est pas assez clairement défini (lutte contre la fraude ? détection d’erreur ?), rendant impossible de vérifier que les moyens sont « nécessaires et appropriés ».

On entend souvent : « ce n’est pas la machine qui prend la décision, c’est l’humain ». Par exemple, quand un algorithme propose un résultat et que c’est un agent public qui doit décider des actions à prendre. Mais la réalité est plus complexe que ça. Les humains sont sujets au biais d’ancrage (difficulté à se départir d’une première impression) et au biais d’automatisation (confiance excessive envers la machine). Les agents subissent aussi parfois des pressions managériales pour valider les résultats.

Enfin, une enquête sur la reconnaissance faciale utilisée par la police aux États-Unis a montré que l’outil était davantage utilisé sur les personnes noires : biais algorithmiques et humains s’amplifient mutuellement.

Avec des humains, les préjugés varient d’un agent à l’autre. Avec un algorithme, les biais sont centralisés : ce sont toujours les mêmes personnes qui sont affectées. Et ces biais sont plus difficiles à identifier, car on croit les logiciels objectifs.

De plus, il est plus difficile d’identifier les biais algorithmiques, soit parce qu’on croit les logiciels objectifs, soit parce que les règles ne sont pas compréhensibles.

Tout d’abord, soulignons que c’est aux administrations de s’assurer que leurs systèmes ne discriminent pas. Celles-ci peuvent le faire de plusieurs manières, notamment via des tests techniques ou des mécanismes de signalement de problèmes.

Mais parfois, il est impossible d’empêcher les algorithmes de désavantager les plus vulnérables, même en les modifiant techniquement. Quand la CAF cible les dossiers les plus complexes, elle surcontrôle mécaniquement les foyers précaires. Tant que l’objectif ne change pas, l’algorithme restera désavantageux pour les plus vulnérables. C’est pour cela que les associations expliquent que ces algorithmes doivent être supprimés, pas modifiés.

Si vous pensez avoir été victime de discrimination, vous pouvez :

• Faire une demande d’accès à vos données personnelles auprès de l’administration concernée, pour savoir ce que l’administration sait de vous et comment elle a utilisé vos données. Vous pouvez utiliser notre générateur à cet effet.
• Vous adresser aux antennes locales du Défenseur des droits, pour contester une décision en particulier.
• Vous adresser à des associations, qui vous permettront d’être mis en lien avec d’autres personnes dans votre cas. N’hésitez pas à nous contacter à : .