Femmes, IA et Droit : Entre Éthique et Technique

Visualiser l'article dans sa version PDF

La Semaine Juridique Edition Générale n° 10, 11 mars 2024, doctr. 311

Les femmes sont à la fois plus touchées par les systèmes d'intelligence artificielle et moins présentes dans le domaine. Loin de diminuer les inégalités de genre, l'automatisation et l'intelligence artificielle les renforcent. Il existe des méthodes juridiques « classiques » de lutte contre les inégalités. Pourtant, le droit du numérique possède des ressources qui lui sont propres : l'analyse et la gouvernance des risques produits par les systèmes automatisés. Ces méthodes permettent de mettre en lumière les inégalités et d'y remédier avant qu'elles n'aient produit leurs effets. Mais pour qu'elles soient réellement centrales, elles doivent être explicitement intégrées dans la technique. Le rôle du droit est donc d'assurer que les inégalités de genre soient appréhendées à part entière.

1. - Données biaisées

 Si l'on veut parler des femmes et de l'intelligence artificielle, il faut d'abord parler des hommes. L'intelligence artificielle est dominée par la gent masculine. Les femmes sont faiblement représentées dans le domaine, que ce soit dans la recherche ou dans l'industrie. Elles constituent la moitié des travailleurs dans le monde, mais ne sont que 29,2 % dans le domaine des sciences et technologies . Plus on s'élève dans la hiérarchie, moins elles sont nombreuses (12,4 % des cadres supérieurs). Dans l'enseignement supérieur, elles s'engagent moins dans des métiers des technologies et leur inscription dans les filières scientifiques est en baisse depuis 2011.

2. - L'automatisation des inégalités

 L'intelligence artificielle est un miroir grossissant de notre société. Elle renforce les asymétries de pouvoir. Une société patriarcale produira des systèmes inégalitaires, sauf à ce que des boucliers soient élaborés. En raison de leur apprentissage sur des données existantes, les systèmes d'intelligence artificielle reproduisent les biais et les discriminations : lorsqu'un système d'IA apprend que les professeurs d'université et les chefs d'entreprise sont en majorité des hommes, il intègre cette distribution inégalitaire et la reproduit. Ces systèmes sont également susceptibles de s'appuyer sur des stéréotypes sexistes. En matière d'emploi, les systèmes d'IA sont souvent utilisés pour trier des candidatures et cibler des candidats spécifiques. L'algorithme de recrutement d'Amazon, par exemple, désavantageait systématiquement les femmes avant d'être proscrit en 2018.

Aujourd'***, une vaste littérature se penche sur les effets inégalitaires des outils d'automatisation . Les travaux de Joy Buolamwini sur la reconnaissance faciale, ceux de Safiya Noble sur les moteurs de recherche, ainsi que les ouvrages de Cathy O'Neil, de Virginia Eubanks ou de Kate Crawford regorgent d'histoires sur les inégalités provoquées par les systèmes algorithmiques et l'intelligence artificielle . Les contenus en ligne ne font pas exception, qu'il s'agisse de propos sexistes ou d'images dégradantes à l'égard des femmes. La quasi-totalité des deepfake circulant sur internet contient des images pornographiques non consenties de femmes.

3. - Le rôle du droit du numérique dans la lutte contre les inégalités entre les femmes et les hommes

     Le constat est donc criant : l'intelligence artificielle n'améliore pas les inégalités entre les femmes et les hommes. Elle les maintient souvent et les aggrave parfois. Alors que la promotion de l'égalité entre les femmes et les hommes est un objectif du droit français et du droit de l'Union européenne, on ne peut que constater qu'un travail de fond est nécessaire pour tout ce qui concerne le droit du numérique. Cela ne signifie pas que les discriminations et les inégalités de genre générées par les algorithmes et les systèmes d'intelligence artificielle sont uniques. Elles sont tout aussi illégales que les discriminations directes ou indirectes non médiées par la technologie. L'enjeu n'est donc pas celui de leur légalité, mais de leur appréhension et des moyens de lutte. Il nous semble qu'en plus des outils traditionnels de renforcement des droits des femmes, le droit du numérique possède des solutions qui lui sont propres.

4. - L'interdiction de systèmes automatisés

          Une première stratégie serait d'interdire des systèmes dont les effets sont manifestement préjudiciables. Le règlement sur l'intelligence artificielle (ni adopté ni définitif) énonce de telles pratiques interdites. Les systèmes de notation sociale des personnes physiques sont interdits parce qu'ils peuvent conduire à des résultats discriminatoires et à l'exclusion de certains groupes, ainsi qu'à des atteintes au droit à la dignité et à la non-discrimination. Les systèmes destinés à l'identification biométrique sont soumis à des dispositions spéciales parce qu'ils peuvent conduire à des résultats biaisés et entrainer des effets discriminatoires, « en particulier en ce qui concerne l'âge, l'appartenance ethnique, le sexe ou les handicaps ». C'est également le cas des systèmes d'intelligence artificielle utilisés dans l'éducation ou la formation professionnelle, que le règlement reconnaît comme susceptibles de perpétuer des schémas historiques de discrimination, à l'égard des femmes.

5. - La prédiction de l'impact sur les femmes

        Au-delà de ces pratiques interdites, que faire de tous les autres outils qui ne sont pas manifestement préjudiciables aux femmes et qui ne sont que susceptibles de l'être ? Leur encadrement exige de prendre en compte les effets imprévisibles et non souhaités d'une technique non encore déployée. Or, c'est justement là l'une des fonctions du droit du numérique contemporain : l'analyse a priori d'un système technique dans le but de détecter les effets préjudiciables avant qu'il n'ait produit d'effet sur son environnement. C'est ce qu'on retrouve dans tous les mécanismes d'analyse de risque et d'analyse d'impact. Leur but est d'obliger les concepteurs à étudier les effets des outils avant leur utilisation ou leur mise sur le marché. Une fois que les risques sont identifiés, des procédures spéciales doivent être mobilisées pour les diminuer.

Bien que l'analyse de risque et les méthodes soient critiquables, la connaissance des effets est essentielle. En particulier en ce qui concerne les inégalités systémiques au titre desquels les inégalités femmes-hommes, il est difficile de penser à d'autres moyens de détecter et de diminuer ces inégalités avant l'utilisation de ces objets. Les analyses d'impact apparaissent donc comme des instruments indispensables.

6. - Du droit à la technique

         Tout dépend néanmoins de la façon dont elles sont menées et dont leurs résultats sont utilisés. C'est justement sur ces deux éléments que nous proposons de réfléchir aujourd'***. Sans prétendre à l'exhaustivité, nous souhaitons envisager des pistes de réflexion sur ces nouveaux enjeux et les difficultés qui leur sont propres.

 Nous proposons donc d'étudier la façon dont trois règlements européens conçoivent les analyses de risque et leurs effets sur les inégalités entre les femmes et les hommes. Ces trois règlements, que nous avons choisis parce qu'ils représentent chacun l'un des piliers du droit du numérique, sont le Digital Service Act (DSA), le règlement général sur la protection des données (RGPD) et le règlement sur l'intelligence artificielle (RIA). Ils nous permettront d'esquisser les points de vigilance et d'interrogation quant à la façon dont le droit du numérique appréhende les inégalités entre les hommes et les femmes.

7. - Annonce de plan

       Notre raisonnement se divisera en deux temps, partant de la question du diagnostic des inégalités pour examiner ensuite leur résolution. Pour lutter contre les inégalités de genre dans les systèmes algorithmiques, de bons outils de diagnostic sont d'abord nécessaires. Or, si les analyses de risques tendent vers ces diagnostics, elles doivent utiliser les bonnes méthodes, ce qui n'est pas toujours aisé (1). Dans un second temps une fois le diagnostic effectué, il convient de s'assurer que les bonnes solutions soient mises en place ce qui, à nouveau, n'a rien d'évident en pratique (2).

1. Appréhender les inégalités de genre dans les systèmes techniques

8. - L'importance des analyses d'impact pour appréhender les inégalités de genre 

     Les analyses d'impact ont pour but d'évaluer les effets que vont avoir des outils techniques sur leur environnement. Dès les années 70, elles ont été utilisées pour déterminer les effets de décision politique ou les enjeux environnementaux de projets de construction. Leur déploiement dans le droit du numérique est récent et constitue une évolution importante. Correctement utilisées, elles permettront de dévoiler les inégalités de genre produites par les systèmes d'intelligence artificielle avant qu'ils n'aient produit d'effets irrémédiables. Tout l'enjeu en matière d'inégalités de genre sera alors de déterminer si l'analyse de risque permet une appréhension effective de ces inégalités dans les systèmes algorithmiques et les systèmes d'intelligence artificielle.

9. - L'analyse d'impact dans le RGPD

      L'analyse d'impact en droit des données à caractère personnel est obligatoire pour les traitements susceptibles de poser des risques élevés pour les droits et libertés des personnes physiques. On retrouve dans cette catégorie les traitements fondant des décisions automatisées et les traitements à grande échelle de données sensibles ou de surveillance systématique. Afin de simplifier la mise en œuvre de ces obligations, les autorités de protection des données ont établi des listes de traitements pour lesquels l'analyse d'impact est obligatoire. La Commission nationale de l'informatique et des libertés (CNIL) en a énuméré plusieurs : traitements de données génétiques des personnes vulnérables, traitements établissant des profils de personnes physiques à des fins de gestion des ressources humaines, traitements de surveillance des employés, instruction des demandes et gestion des logements sociaux, traitements de localisation à large échelle, etc.

Si aucun de ces traitements ne concerne directement les inégalités de genre, ils restent bénéfiques pour les appréhender. Les attributions de logements sociaux en sont un bon exemple : les mères célibataires étant particulièrement touchées par le mal-logement , une analyse d'impact de ces traitements pourrait mettre en lumière les effets des systèmes automatisés à leur égard.

10. - L'analyse d'impact dans le DSA

     Les analyses de risque jouent également un rôle important dans le DSA. L'article 34 du règlement oblige les fournisseurs de très grandes plateformes à recenser et analyser tout risque systémique découlant de la conception ou du fonctionnement de leur service. Ces risques comportent la diffusion de contenus illicites, les effets négatifs sur les droits fondamentaux (y compris la non-discrimination) et surtout tout effet « négatif réel ou prévisible lié aux violences sexistes »  . Contrairement au droit des données ou de l'intelligence artificielle, la question des risques liés au genre y est donc explicite.

11. - L'analyse d'impact dans le RIA

Dans le RIA, enfin, l'analyse des effets des systèmes d'intelligence artificielle est encore plus essentielle. Le texte est entièrement conçu comme un guide en matière de gestion des risques. L'article 9 de la proposition du 21 avril 2021 oblige les fournisseurs d'IA à haut risque à établir un système de gestion des risques documenté et mis à jour. Les fournisseurs doivent donc identifier les risques généraux, ainsi que les risques susceptibles d'apparaître lorsque le système n'est pas utilisé conformément à sa destination. L'analyse doit s'effectuer en continu et doit intégrer les risques a priori imprévisibles.

12. - De la théorie à la pratique : le rôle des autorités administratives indépendantes

Les analyses prévues par ces trois règlements semblent donc, à première vue à même de mesurer les inégalités de genre générées ou amplifiées par les systèmes algorithmiques. Mais l'analyse d'impact suppose une étude concrète de ces outils. Les dispositions législatives étant légitimement imprécises, tout dépendra donc de la façon dont elles sont interprétées par les autorités européennes et françaises de contrôle.

Ce sont elles qui devront préciser la teneur des analyses de risque et y intégrer explicitement les questions de genre. Malheureusement, les premiers éléments dont nous disposons ne nous paraissent pas de bon augure.

13. - Inégalités ou sécurité des traitements.

      En droit des données à caractère personnel, la réalisation d'une analyse d'impact suppose, en premier lieu, d'analyser et de présenter le traitement dans son ensemble, les données concernées et les mesures protectrices des droits des personnes. Il est ensuite nécessaire d'apprécier les atteintes potentielles à la vie privée, en fonction de ce qui pourrait arriver aux personnes concernées et de la manière dont le risque se présente.

Pourtant, la CNIL ne mentionne explicitement que les impacts sur la « vie privée » des personnes physiques. Si elle précise qu'elle entend le terme « vie privée » comme englobant les droits et libertés de façon générale, l'utilisation exclusive de ce terme reste problématique. De façon générale, dans tous les guides d'analyse d'impact, la question de l'égalité entre les femmes et les hommes n'apparait jamais explicitement.

 L'outil PIA développé par la CNIL et disponible en open source n'y fait pas exception. Il n'est guère fait mention des risques sociaux des traitements de données, y compris dans l'analyse d'impact type générée par la Commission. À bien des égards, l'analyse d'impact en protection des données semble se concentrer sur la question de la sécurité des données, et non pas des enjeux plus généraux des traitements de données.

14. - L'invisibilisation des inégalités de genre dans les analyses d'impact

       En droit des données à caractère personnel, il semble que les inégalités de genre ne soient guère mises en avant dans les analyses d'impact. Cette invisibilisation est à déplorer. Elle est d'ailleurs difficilement explicable. Les autorités de protection des données considèrent-elles que la question est évidente ? Ou alors que cela ne relève pas de leurs compétences ? Ou encore que cela entrainerait trop de contraintes sur le responsable du traitement ? Plus grave, ces positions sont-elles susceptibles d'influencer l'application du RIA et du DSA ? Le RGPD est le seul de ces textes sur lequel nous avons un recul suffisant. Le DSA n'est entré en vigueur que depuis quelques semaines et le RIA n'est pas encore adopté.

 Nous n'avons donc pas encore d'indices sur l'interprétation de la notion de risque à l'égard des inégalités de genre dans ces deux règlements. Il conviendra donc d'être vigilant quant à la façon dont les autorités interpréteront les exigences relatives aux analyses de risque. En droit de l'intelligence artificielle, cette mission sera donc dévolue au tout jeune Office européen de l'intelligence artificielle, créé par une décision de la Commission européenne du 24 janvier dernier . Il sera ainsi chargé de développer des méthodologies et des outils pour évaluer les systèmes d'IA, en particulier ceux posant des risques systémiques. Il devra également surveiller l'émergence de risques imprévisibles et soutenir l'application des dispositions du règlement.

15. - L'utilisation d'analyses d'impact sur le genre

       L'une des pistes à suivre serait d'utiliser les modèles existants d'analyse d'impact sur le genre pour les adapter aux outils numériques. Un moyen pourrait être de faire des gender impact assessment, d'utiliser ces modèles qui ont été développés dans d'autres secteurs pour les adapter pour les technologies. Ce sont surtout des modèles qui ont été développés pour évaluer des lois, des politiques publiques ou des projets, mais les lignes qu'ils tracent pourraient être utilisées pour l'analyse d'impact sur le genre d'outil d'IA.

Par exemple, la Commission européenne a proposé dès 1998 un guide pour l'évaluation de l'impact selon le genre. Il avait surtout été créé pour analyser les impacts des décisions politiques, mais il trace des lignes intéressantes, en demandant des statistiques chiffrées sur la participation des femmes, la répartition des ressources, la représentation des femmes, ou encore sur les inégalités dans la valeur attachée aux hommes et aux femmes ou aux caractéristiques masculines et féminines.

Plus récemment, l'Institut européen pour l'égalité de genre a proposé une méthodologie d'analyse d'impact selon le genre qui nécessite une étude des impacts directs et indirects en fonction du genre .

16. - De la détection de l'impact à la gouvernance des risques

      Les analyses d'impact apparaissent donc comme des outils déterminants dans la détection des inégalités de genre. Pour que ce rôle devienne réellement central, il conviendra d'être vigilant sur la façon dont elles sont interprétées et conduites. Mais l'appréhension des inégalités de genre ne constitue que la première étape : il est ensuite primordial de mettre en œuvre des techniques de diminution de ces inégalités.

2. Lutter contre les inégalités de genre dans les systèmes techniques

17. - L'obligation de diminuer l'impact des outils techniques sur les femmes

     Une fois que les risques sont constatés, les concepteurs sont tenus de développer des solutions afin de les limiter. Au regard des inégalités de genre, cela signifie que les technologies mises sur le marché ne sont pas supposées entraîner des risques importants pour les femmes. Par exemple, en droit des données à caractère personnel, il est exigé que les données soient traitées de façon loyale et, lorsqu'elles servent de fondement à une décision produisant des effets significatifs, des mesures appropriées de sauvegarde des droits et libertés doivent être mises en œuvre .

L'obligation de loyauté des traitements de données fait partie, avec la transparence et la licéité, des obligations fondamentales et substantielles du responsable de traitement. Interprétée de façon restrictive, elle pourrait renvoyer à l'exigence que le traitement soit licite et non discriminatoire . Mais la loyauté du traitement pourrait également renvoyer à l'obligation de « pertinence de la technique » : l'obligation d'assurer que les modèles et les critères établis soient fiables, non discriminatoires et pertinents. Des obligations similaires se retrouvent dans le DSA et le RIA. Dans le premier, les fournisseurs de très grandes plateformes doivent mettre en place des mesures d'atténuation raisonnables, proportionnées et efficaces, adaptées aux risques systémiques spécifiques  .

Ces mesures touchent aux caractéristiques des services, aux processus de modération des contenus, aux tests des systèmes algorithmiques ou à l'adaptation de l'interface. Dans le second, des jeux de données d'entrainement et de validation doivent répondre à des choix de conception pertinents, à des opérations de traitement pertinentes et à la formulation d'hypothèses pertinentes . Les fournisseurs doivent également mettre en place des mesures de gestion des risques appropriés permettant d'accéder à un niveau de risque résiduel.

18. - Les difficultés de mise en œuvre des solutions techniques

    Dans ces trois instruments, le droit oblige donc les concepteurs à utiliser des moyens techniques destinés à réduire les risques et les impacts. Si l'analyse de risque met en lumière des impacts négatifs sur les droits des femmes, les concepteurs ont l'obligation d'y remédier. Mais d'importantes difficultés existent. Les mesures techniques de diminution des biais et des inégalités de genre ne sont pas faciles à mettre en place. S'il existe des champs de recherche en intelligence artificielle explicable, équitable ou féministe, ils restent minoritaires. La plupart des entreprises n'utilisent pas ces techniques de programmation ni ne souhaitent investir dans ces recherches qui ne renforcent pas forcément l'efficacité ou la valeur de leurs produits. Les difficultés se posent d'ailleurs différemment en fonction des techniques utilisées. Il est ainsi plus facile d'éliminer les biais dans la programmation classique que pour les algorithmes d'apprentissage.

Pour ces derniers, qui sont au fondement de la majorité des systèmes d' IA, plusieurs approches existent. Il est d'abord possible de corriger les biais dans les données avant de concevoir le système. On peut également transformer l'algorithme pendant son entrainement en utilisant diverses contraintes pour l'obliger à respecter des standards d'équité ou encore modifier son résultat final. Mais les solutions techniques n'existent pas toujours. Il est notamment difficile d'analyser les données spatio-temporelles sans intégrer des discriminations alors qu'on sait que les compagnies de transport de personnes modifient leurs prix en fonction des quartiers dans lesquels elles opèrent, avec une discrimination envers les populations marginalisées . De la même manière, les difficultés sont accrues pour les algorithmes d'apprentissage en ligne. Si des progrès ont été réalisés pour les systèmes hors lignes, les méthodes ne marchent pas toujours pour les algorithmes sur internet. Il est également très difficile d'intégrer les préférences individuelles à la mesure de l'égalité ou de travailler sur des bases de données incomplètes .

19. - L'intelligence artificielle féministe

    Si on s'écarte des recherches sur l'intelligence artificielle non discriminatoire, et si on se rapproche plus précisément des inégalités de genre, des recherches sur l'IA féministe ont mis en lumière de nouvelles approches. Le concept de l'IA féministe, ou FAI, n'est pas nouveau. On peut en retrouver des traces dès 1995 dans les travaux d'Alison Adams, qui défendait l'idée d'une intelligence artificielle éclairée par les idées féministes. Adams avait déjà théorisé que l'intelligence artificielle était fondée sur des paradigmes masculins, prétendument neutres. Elle avait déjà compris que dès lors qu'un outil technique se fondait sur des données existantes, il allait répliquer les inégalités et les structures de pouvoir existantes ; et que seules des interventions sur les données et dans les infrastructures permettraient de produire des résultats différents. Elle a travaillé sur des projets de FAI, et de façon intéressante, sur ce qu'on appellerait aujourd'*** des legal tech. L'un de ses premiers projets, menés avec l'université de Sao Carlo au Brésil visait à analyser des jurisprudences portant sur les discriminations en matière de genre, pour aider les victimes de ces discriminations à faire valoir leurs droits. Dans tous ses projets, Alison Adams s'interrogeait sur la prise en compte du genre et des inégalités économiques dans la conception des interfaces, des outils, et la production des résultats. C'est sur ses travaux que se fondent de nouvelles pratiques, promouvant l'idée qu'une IA féministe permettrait de lutter contre les inégalités et de renforcer les droits.

On voit ce genre d'outils généralement au niveau technique, où une IA peut être féministe à plusieurs égards. Certains projets insistent sur la nécessité d'utiliser des modèles et des processus de construction collectifs et féministes. Le collectif FAIR (feminist AI research network) vise à soutenir des initiatives des femmes pour faire émerger des outils plus égalitaires. De telles techniques englobent la création collective de bases de données féministes ou l'étiquetage contextuel de ces données . La FAI n'est d'ailleurs pas qu'une structure de conception d'outils, mais également un appareillage critique. Elle vise à rapprocher les théories, méthodes et épistémologies féministes pour comprendre, critiquer et analyser les systèmes d'intelligence artificielle. Le but est de chercher, parmi tant d'autres questions, à comprendre si l'IA peut être féministe, comment le féminisme peut être utilisé pour améliorer les systèmes d'IA, et quelles sont les identités de genre produites par l'IA.

20. - Où s'arrête le droit, où commence la technique ?

     La protection des femmes par le droit doit passer d'une égalité formelle à une égalité matérielle qui se reflète dans les faits et les outils numériques. Parce que le droit du numérique a pour objet de forcer les concepteurs à prendre en compte au moins une partie des impacts sociaux de leurs outils, il est bien placé pour montrer la voie vers des algorithmes et des technologies plus féministes et moins inégalitaires. Mais tant que ces éléments ne ressortiront pas de façon contraignante des textes juridiques, les beaux principes de l'égalité entre les femmes et les hommes resteront lettre morte. Le droit ne doit pas se contenter de reléguer à la technique le soin de résoudre ces difficultés. Le droit du numérique et la technique doivent chacun prendre leur place dans la lutte pour l'égalité matérielle entre les femmes et les hommes dans la technologie. Il est évident que la recherche sur les biais et discriminations algorithmiques doit être encouragée .

Mais il est également essentiel que les autorités françaises, européennes et internationales interprètent le droit du numérique en intégrant ces enjeux. Il faut que les analyses de risque et les analyses d'impact montrent clairement les effets des techniques sur les inégalités de genre. Il faut que les méthodes équitables et égalitaires d'apprentissage et de programmation soient intégrées dans les obligations substantielles des concepteurs. Et il faut être capable, lorsque les risques sont trop élevés, de renoncer à la création et à l'implémentation de certaines technologies.

Mots clés : Droit et société. - Femmes et Droit. - Intelligence artificielle. - Inégalités de genre dans les systèmes techniques.

© LexisNexis SA