Les algorithmes sont-ils racistes et sexistes ?
Des femmes automatiquement défavorisées dans l'obtention d'un crédit, des distributeurs de savon qui ne détectent pas les peaux noires… Les algorithmes qui nous entourent sont-ils racistes et sexistes ?
Racistes et sexistes, les algorithmes ?
Les algorithmes restent majoritairement pensés par des hommes blancs. Des informaticiens alertent sur ces biais algorithmiques, qui excluent parfois des pans entiers de la population.
En 2017, Joy Buolamwini, une informaticienne noire, s’est aperçu qu’elle n’arrivait pas à utiliser un logiciel de reconnaissance faciale. Et pour cause : l'algorithme du logiciel n’était pas capable de détecter sa peau. Pourtant, quand elle portait un masque blanc, il fonctionnait.
Les personnes racisées pénalisées
Cette discrimination est le résultat d’un “biais algorithmique”, explique Aurélie Jean, informaticienne et autrice de De l’autre côté de la machine, Voyage d’une scientifique aux pays des algorithmes (éditions de L’Observatoire). “L'un des cas de biais algorithmiques les plus connus est sûrement celui des algorithmes de reconnaissance faciale. Ils ne reconnaissaient pas les peaux noires car les personnes qui les avaient pensés, développés et implémentés étaient principalement blanches, voire uniquement blanches.”
Ici, c’est la base de données (une banque d’images, par exemple) sur laquelle est basé l’algorithme qui pose problème. “Si les données qu’on soumet à l’algorithme excluent une catégorie de la population, l’algorithme l’exclura aussi” résume Aurélie Jean. Qui ajoute : “Les biais peuvent concerner l'ethnicité, le genre, l'orientation sexuelle, la culture, le langage, la langue, mais aussi l'âge.” Les conséquences de ces biais peuvent être dramatiques. Des chercheurs du Georgia Institute of Technology, à Atlanta, ont notamment révélé que les voitures autonomes esquivaient mieux les piétons blancs que les piétons noirs.
Des algorithmes conçus à 88 % par des hommes
Autre biais pointé du doigt : les discriminations sexistes. Fin 2019, l'algorithme utilisé par la carte de crédit d’Apple aurait défavorisé des femmes qui tentaient d’obtenir un crédit. “L’algorithme a dû apprendre à partir de données bancaires du passé, peut-être sur des décennies” avance Aurélie Jean. Le pouvoir d’achat réel des femmes aurait donc été minimisé. Pourquoi une telle discrimination ? D’après la biologiste Aude Bernheim, autrice de L’Intelligence artificielle, pas sans elles ! les algorithmes sont conçus à 88 % par des hommes. D’où une reproduction du sexisme de notre société.
Aurélie Jean acquiesce : “L'algorithme n'est pas coupable, ni sexiste, ni raciste. Il n'est ni une personne morale, ni une personne physique. Ce sont nous, les humains, qui sommes machos, racistes, sexistes, et qui devons prendre nos responsabilités par rapport à ces algorithmes. Parce que derrière chaque algorithme, il y a au moins une personne, qui a pensé, réfléchi, conçu, testé…” Selon elle, engager plus de femmes dans les équipes de développement, notamment, permettrait de créer de nouvelles dynamiques. Mais le chemin à parcourir semble encore long. Aujourd’hui, seulement 15 % des ingénieurs en informatique sont des femmes, selon la Fondation Femmes@numérique.
Racistes et sexistes, les algorithmes ?
Les algorithmes restent majoritairement pensés par des hommes blancs. Des informaticiens alertent sur ces biais algorithmiques, qui excluent parfois des pans entiers de la population.
En 2017, Joy Buolamwini, une informaticienne noire, s’est aperçu qu’elle n’arrivait pas à utiliser un logiciel de reconnaissance faciale. Et pour cause : l'algorithme du logiciel n’était pas capable de détecter sa peau. Pourtant, quand elle portait un masque blanc, il fonctionnait.
Les personnes racisées pénalisées
Cette discrimination est le résultat d’un “biais algorithmique”, explique Aurélie Jean, informaticienne et autrice de De l’autre côté de la machine, Voyage d’une scientifique aux pays des algorithmes (éditions de L’Observatoire). “L'un des cas de biais algorithmiques les plus connus est sûrement celui des algorithmes de reconnaissance faciale. Ils ne reconnaissaient pas les peaux noires car les personnes qui les avaient pensés, développés et implémentés étaient principalement blanches, voire uniquement blanches.”
Ici, c’est la base de données (une banque d’images, par exemple) sur laquelle est basé l’algorithme qui pose problème. “Si les données qu’on soumet à l’algorithme excluent une catégorie de la population, l’algorithme l’exclura aussi” résume Aurélie Jean. Qui ajoute : “Les biais peuvent concerner l'ethnicité, le genre, l'orientation sexuelle, la culture, le langage, la langue, mais aussi l'âge.” Les conséquences de ces biais peuvent être dramatiques. Des chercheurs du Georgia Institute of Technology, à Atlanta, ont notamment révélé que les voitures autonomes esquivaient mieux les piétons blancs que les piétons noirs.
Des algorithmes conçus à 88 % par des hommes
Autre biais pointé du doigt : les discriminations sexistes. Fin 2019, l'algorithme utilisé par la carte de crédit d’Apple aurait défavorisé des femmes qui tentaient d’obtenir un crédit. “L’algorithme a dû apprendre à partir de données bancaires du passé, peut-être sur des décennies” avance Aurélie Jean. Le pouvoir d’achat réel des femmes aurait donc été minimisé. Pourquoi une telle discrimination ? D’après la biologiste Aude Bernheim, autrice de L’Intelligence artificielle, pas sans elles ! les algorithmes sont conçus à 88 % par des hommes. D’où une reproduction du sexisme de notre société.
Aurélie Jean acquiesce : “L'algorithme n'est pas coupable, ni sexiste, ni raciste. Il n'est ni une personne morale, ni une personne physique. Ce sont nous, les humains, qui sommes machos, racistes, sexistes, et qui devons prendre nos responsabilités par rapport à ces algorithmes. Parce que derrière chaque algorithme, il y a au moins une personne, qui a pensé, réfléchi, conçu, testé…” Selon elle, engager plus de femmes dans les équipes de développement, notamment, permettrait de créer de nouvelles dynamiques. Mais le chemin à parcourir semble encore long. Aujourd’hui, seulement 15 % des ingénieurs en informatique sont des femmes, selon la Fondation Femmes@numérique.