Biais algorithmiques : l'IA reproduit nos inégalités
En 2018, Amazon retire son outil de recrutement par IA après avoir constaté qu’il pénalise systématiquement les candidatures féminines. L’algorithme avait appris sur dix ans d’embauches internes. Dix ans de données dans un secteur majoritairement masculin. La machine n’avait rien inventé : elle avait reproduit, à grande vitesse et à grande échelle, ce que les humains pratiquaient depuis des décennies.
L'objectivité algorithmique, une fiction bien construite
La promesse originelle de l’intelligence artificielle tenait en un mot : neutralité. Là où l’humain hésite, se laisse influencer, projette ses préférences, la machine calcule. Froide. Précise. Équitable.
Cette promesse a servi d’argument commercial dans des secteurs entiers. Les banques l’ont utilisée pour leurs outils de scoring de crédit. Les hôpitaux pour leurs algorithmes de triage. Les entreprises pour leurs plateformes de recrutement. Les tribunaux américains, pour l’outil COMPAS, censé prédire les risques de récidive, et documenté comme deux fois plus susceptible de classer à tort les hommes noirs comme « à risque élevé » comparé aux hommes blancs, selon l’enquête ProPublica de 2016.
La neutralité algorithmique repose sur un postulat jamais formulé explicitement : que les données du passé constituent une base légitime pour décider de l’avenir. Or Françoise Héritier l’avait posé autrement, en parlant des structures de domination : ce qui est ancien n’est pas naturel. Ce qui est statistiquement fréquent n’est pas juste. Quand un algorithme apprend sur des données historiques, il apprend aussi les discriminations historiques. Il n’en corrige aucune. Il les optimise.
Le chercheur Ruha Benjamin appelle ça le New Jim Code : des technologies présentées comme progressistes qui reproduisent et légitiment des hiérarchies anciennes. Le vernis technique rend la discrimination plus difficile à contester, parce qu’on ne conteste pas un algorithme comme on conteste un chef de service.
Les femmes, variable d'ajustement dans les datasets
Les biais algorithmiques ne frappent pas de façon uniforme. Le genre est l’une des variables les plus systématiquement sous-représentées ou mal représentées dans les datasets d’entraînement.
En médecine, les conséquences sont documentées et graves. Les algorithmes de détection des maladies cardiovasculaires ont été entraînés majoritairement sur des données issues d’hommes, parce que les essais cliniques excluaient les femmes jusqu’aux années 1990, par crainte des effets sur la fertilité. Résultat : les symptômes cardiaques féminins, souvent atypiques par rapport au modèle masculin de référence, sont sous-détectés par les outils d’aide au diagnostic. Une étude publiée dans The Lancet en 2021 sur les algorithmes ECG montrait des performances significativement inférieures pour les femmes dans plusieurs catégories d’arythmies.
En recrutement, la situation est documentée depuis le cas Amazon mais dépasse largement ce seul acteur. Une analyse publiée par la Harvard Business Review identifie plusieurs mécanismes récurrents : les mots-clés associés à des parcours masculins valorisés dans les données d’entraînement, les gaps de carrière pénalisés sans contexte (maternité, aidance), les réseaux de recommandation qui reproduisent l’homophilie sociale.
Dans la publicité en ligne, l’algorithme de Meta a été épinglé pour avoir diffusé les annonces de logements et d’emplois de façon genrée et racialisée, même quand les annonceurs n’avaient formulé aucun critère discriminatoire. La discrimination était émergente : le système optimisait pour l’engagement, et l’engagement passé reflétait les ségrégations existantes.
Ce n’est pas de la malveillance. C’est de la loterie du hasard de la naissance codée en Python.
L'éthique IA comme département, la justice comme horizon
L’industrie tech a répondu à la pression publique avec une stratégie prévisible : créer des équipes dédiées à l’éthique de l’IA. Google, Meta, Microsoft, OpenAI ont toutes leurs responsible AI teams. Les grandes entreprises françaises et européennes suivent. Les rapports annuels mentionnent la fairness, la transparence, la robustesse.
Ce mouvement n’est pas sans valeur. Mais il porte une limite structurelle que les chercheuses du AI Now Institute ont formulée avec précision : quand l’éthique est un département, elle peut être mise en sourdine. Elle ne peut pas opposer son veto à une décision de mise sur le marché. Elle conseille. Elle ne gouverne pas.
Timnit Gebru, licenciée de Google en 2020 après la publication d’une recherche critique sur les grands modèles de langage, a rendu visible ce que beaucoup savaient : l’éthique interne d’une entreprise tech n’est pas indépendante de ses intérêts commerciaux. Le conflit d’intérêts est structurel.
L’AI Act européen, entré en application en 2024, apporte un cadre réglementaire inédit, le premier du genre au monde. Il classe les systèmes d’IA selon leur niveau de risque et impose des exigences de transparence et d’auditabilité pour les usages à fort impact (recrutement, crédit, éducation, justice). C’est un pas réel. Reste à voir si les autorités nationales chargées de l’appliquer disposent des moyens techniques pour auditer des systèmes dont la complexité dépasse souvent celle de leurs propres équipes.
La réglementation est nécessaire. Elle n’est pas suffisante si les données sur lesquelles les modèles s’entraînent restent biaisées à la source. Corriger l’aval sans corriger l’amont, c’est changer le robinet sans toucher à la tuyauterie.
Ce que les développeurs ne peuvent pas décider seuls
Un angle mort persistant dans le débat public : la question de qui décide de ce qui compte comme biais acceptable.
Les équipes qui entraînent les modèles font des choix constants. Quelle variable protéger en priorité quand les objectifs d’équité entrent en tension ? Maximiser l’équité individuelle ou l’équité de groupe ? Corriger la représentation dans les données d’entraînement ou post-traiter les sorties du modèle ? Ces choix ne sont pas techniques. Ce sont des choix éthiques et politiques déguisés en décisions d’ingénierie.
La démographie des équipes qui les prennent est connue. Une étude du Stanford HAI de 2023 rappelle que les femmes représentent 26% des postes en IA dans l’industrie, et moins de 20% dans les rôles de recherche fondamentale. Les personnes racisées sont encore plus marginalisées dans les postes de décision. Les personnes dont les situations de vie sont les moins représentées dans les données, mères isolées, aidantes, personnes en situation de handicap, sont quasi absentes des tables où se définissent les critères de fairness.
Ce n’est pas un hasard si les biais les plus documentés frappent précisément ces groupes. Ce n’est pas non plus une fatalité. C’est le résultat de décisions d’organisation, de recrutement, de financement, qui peuvent être prises autrement.
Vers une exigence de représentation comme condition technique
La sortie de cette impasse est connue dans ses grandes lignes, même si son exécution reste difficile : diversifier les équipes qui conçoivent les systèmes, diversifier les données qui les alimentent, et rendre les critères de fairness choisis explicitement auditables par des tiers indépendants.
Plusieurs initiatives montrent que c’est possible. Le Algorithmic Justice League fondé par Joy Buolamwini documente les biais des systèmes de reconnaissance faciale et a contribué à des retraits de produits chez plusieurs acteurs majeurs. Le projet Datasetsdev examine la composition des datasets publics utilisés pour entraîner les grands modèles de langage et identifie les populations sur-effacées. En Europe, des projets financés par le programme Horizon Europe travaillent à des méthodes d’audit algorithmique reproductibles.
Ces travaux restent marginaux par rapport aux ressources investies dans la course aux performances brutes des modèles. Le rapport de force est déséquilibré. L’industrie investit des milliards dans la puissance de calcul, des millions dans la fairness. La recherche académique indépendante sur les biais est chroniquement sous-financée dans la plupart des pays européens.
Changer cet équilibre suppose d’accepter que la représentation dans les équipes et dans les données n’est pas une question de diversité décorative. C’est une condition de qualité technique. Un algorithme de santé qui sous-performe pour la moitié de la population n’est pas un bon algorithme. Un outil de recrutement qui filtre selon le genre n’est pas neutre : il est défaillant.
Nommer la défaillance avec ce mot change la conversation. Ce n’est plus une question de sensibilité. C’est une question de standard.
Les entreprises qui ont compris cela avant les autres, et quelques-unes l’ont compris, ne traitent pas l’éthique comme un département. Elles la traitent comme un critère de performance au même titre que la précision du modèle ou sa vitesse d’inférence. Les audits de biais font partie du cycle de développement, pas du rapport annuel RSE.
Le cadre réglementaire européen pousse dans cette direction. Mais la réglementation seule ne produira pas des équipes plus diverses, des datasets plus représentatifs, ni des chercheurs indépendants mieux financés. Ces trois conditions relèvent de décisions que des personnes précises doivent prendre : dirigeants d’entreprises tech, investisseurs, responsables de politique publique, directrices de ressources humaines.
L’IA ne résoudra pas les inégalités que nous n’avons pas résolues nous-mêmes. Elle peut, si nous le décidons, arrêter de les amplifier.
Et si le vrai test d’un algorithme éthique n’était pas ce qu’il optimise, mais ce qu’il refuse de perpétuer ?
"L'algorithme ne ment pas. Il dit exactement ce qu'on lui a appris à voir. La question n'est pas de corriger la machine : c'est de décider, enfin, ce que nous voulons qu'elle apprenne.", Tania Gombert
Vous souhaitez engager une réflexion sur l'IA éthique dans votre organisation ?
Et si le vrai test d'un algorithme éthique n'était pas ce qu'il optimise, mais ce qu'il refuse de perpétuer ?