Pourquoi les nouvelles technologies et l'IA doivent inclure la diversité

Imaginez que l'on demande à une personne injustement condamnée de concevoir l'algorithme utilisé par la police pour condamner les criminels. Imaginez que l'on demande à un jeune récemment immigré aux États-Unis de concevoir l'algorithme utilisé pour les admissions dans les meilleures universités américaines. Imaginez que des populations historiquement exclues de l'utilisation de vos produits soient invitées à concevoir vos produits. Les chances que les résultats de ces algorithmes reproduisent les mêmes résultats qu'aujourd'hui sont minces, voire nulles. C'est à bien des égards ce qu'offrent l'IA et l'apprentissage automatique - mais au lieu d'avoir des systèmes qui embrassent la diversité des perspectives et des opinions, si nous ne sommes pas vigilants, nous pouvons nous retrouver avec des systèmes qui renforcent les préjugés existants au mieux, et qui créent activement de nouveaux préjugés au pire.

L'impact des biais dans l'IA et l'apprentissage automatique

Notre société a réussi à progresser régulièrement malgré la myriade de problèmes liés à la diversité qui y sont inhérents, et certains pourraient affirmer que la lenteur des progrès, associée aux nombreux avantages offerts par l'IA, est suffisante. Je ne suis évidemment pas d'accord. Bien qu'il y ait plus qu'assez de raisons morales et éthiques pour la diversité, le fait le plus marquant est qu'en fin de compte, DEI ne signifie pas seulement Diversité, Equité et Inclusion, je pense qu'il devrait aussi signifier Diversité égale Revenu. Chaque fois qu'une entreprise utilise un algorithme qui aliène un utilisateur, diminue une valeur aberrante pour s'adapter à un modèle, réduit la diversité lors d'une décision d'embauche ou travaille sans tenir compte de la diversité plutôt que de la favoriser, elle laisse des dollars sur la table - des dollars que peu d'entreprises peuvent se permettre d'épargner.

La première fois que j'ai pris conscience de l'interaction potentiellement négative entre la technologie et la race, c'était à la fin des années 90 et au début des années 2000, lorsque moi et nombre de mes amis noirs avons été incapables d'être correctement identifiés par le logiciel de reconnaissance faciale utilisé par Facebook. Comme nous l'avons rapidement appris, l'identité de la personne chargée de la programmation comptait. Les programmeurs, dont la majorité ne nous ressemblait pas, entraînaient les machines sur des visages qui leur ressemblaient et non sur les nôtres, laissant ceux d'entre nous qui ont le teint plus foncé comme des mystères incapables d'être identifiés par des yeux informatisés. On pourrait penser qu'au fil des années, les choses se sont améliorées, mais une étude réalisée en 2018 par le National Institute of Standards and Technology (NIST) a révélé que certains algorithmes de reconnaissance faciale présentaient des taux d'erreur jusqu'à 100 fois plus élevés pour les Afro-Américains que pour les personnes de type caucasien.

Malheureusement, ce biais ne se retrouve pas uniquement dans les données visuelles. Une étude réalisée en 2019 par le National Bureau of Economic Research a révélé que les algorithmes utilisés par les sociétés d'évaluation du crédit avaient tendance à sous-estimer la solvabilité des emprunteurs afro-américains et hispaniques. Ces algorithmes attribuaient systématiquement à ces emprunteurs des notes de crédit inférieures et des taux d'intérêt plus élevés.

L'importance de la diversité dans la réussite des entreprises

Quel est le rapport avec la diversité ? L'IA nous a également fait entrer dans une nouvelle ère pour les RH. Partout dans le monde, des entreprises utilisent l'IA pour sélectionner des CV en vue d'embauches potentielles. Le problème est que les systèmes de recrutement alimentés par l'IA se sont révélés discriminatoires à l'égard des femmes et des minorités. Une étude de l'université de Cambridge a montré qu'un outil de recrutement piloté par l' IA et développé par Amazon déclassait les CV contenant des mots tels que "femme", "féminin" et "genre", et qu'en conséquence, les candidats ayant des noms à consonance féminine avaient moins de chances d'être sélectionnés pour un entretien.

Il y avait deux problèmes - tous deux liés, difficiles à résoudre et qui doivent être abordés. Premièrement, dans toutes ces situations, l'ensemble de formation était défectueux. Si un système est formé à partir d'informations biaisées, il générera et propagera un résultat biaisé. Dans le cas de l'outil de recrutement, il avait été formé sur des CV soumis à l'entreprise sur une période de 10 ans, dont la plupart provenaient de candidats masculins (qui ont été choisis, en partie, en raison des préjugés systémiques du personnel des ressources humaines). Deuxièmement, les responsables de ces systèmes n'accordaient pas suffisamment d'importance à la diversité pour l'intégrer dans le système.

Le rôle de la diversité dans le développement de l'IA

Comme un enfant qui apprend ce qui est bien ou mal ou comment se comporter, l'IA a besoin d'être enseignée. Pour lui apprendre à faire face à la myriade de situations qu'elle peut rencontrer, les organisations doivent l'exposer à des exemples passés de bien et de mal (ou de réussite et d'échec). Ces exemples passés peuvent être empreints de préjugés à l'égard des femmes, des immigrés, des personnes souffrant de déficiences physiques ou neurologiques, ainsi que des groupes raciaux et ethniques. Actuellement, la complexité des calculs de l'IA étant telle qu'il s'agit pratiquement d'une boîte noire, le meilleur moyen de vérifier si un système est biaisé est de tester à la fois les données d'entrée et les données de sortie. Il est essentiel de tester toute sorte de biais d'échantillonnage en termes de caractéristiques spécifiques, de géographie ou de marqueur démographique dans ce qui a été introduit dans le système, ainsi que les corrélations non désirées dans ce qui sort de l'algorithme. Le problème est que cette étape supplémentaire, bien que relativement simple, prend du temps et que le temps, c'est de l'argent. Cela étant dit, il convient de se poser la question suivante : est-ce suffisant ?

Dans notre discours social, il est généralement admis que le simple fait d'être daltonien (par exemple) est insuffisant au regard des diverses structures systémiques en jeu dans notre société. Pour parvenir à une certaine forme d'équité, il est nécessaire de faire preuve de "courage de la couleur" - en d'autres termes, d'adopter une attitude plus proactive pour lutter contre les disparités raciales. Alors, si dans d'autres cercles, il ne suffit pas d'être daltonien, pourquoi, dans ce cercle, serait-il suffisant d'être impartial ? Comme je l'ai dit à maintes reprises, la diversité, l'équité et l'inclusion sont importantes, mais pas seulement parce qu'elles sont moralement ou humainement justes, mais aussi parce que, dans le monde des affaires (comme je l'ai dit plus haut), la diversité est synonyme de revenus.

Quelques exemples :

Une étude réalisée en 2009 par le Center for American Progress a révélé que les entreprises présentant une plus grande diversité raciale et sexuelle étaient plus susceptibles d'enregistrer des bénéfices plus élevés.
Une étude réalisée en 2016 par le Peterson Institute for International Economics a révélé que les entreprises comptant davantage de femmes cadres étaient plus rentables.
Une étude réalisée en 2018 par le Boston Consulting Group a révélé que les entreprises dont les conseils d'administration étaient plus diversifiés sur le plan racial et du genre étaient plus rentables.

Des études ont montré que des équipes diversifiées peuvent apporter un plus large éventail de perspectives et d'expériences, ce qui permet de résoudre les problèmes de manière plus créative et de prendre de meilleures décisions. Elles peuvent être plus efficaces pour comprendre et servir une clientèle diversifiée, et elles peuvent être plus attrayantes pour les meilleurs talents, ce qui peut conduire à une productivité et à une innovation accrues. L'IA offre aux entreprises la possibilité non seulement de s'assurer que leurs pratiques de recrutement ne sont pas biaisées, mais aussi que leur personnel possède la diversité nécessaire pour produire les meilleurs biens et services pour des consommateurs de plus en plus diversifiés.

Les organisations qui s'appuient uniquement sur l'IA pour sélectionner les CV, passer au crible les demandes d'inscription dans les écoles ou prendre des décisions en matière de crédit, etc. commettent une grave erreur. Elles confondent le marteau avec le charpentier et la voiture avec le conducteur. Cette situation est en fait très similaire à un problème que je rencontre occasionnellement lorsque j'anime des ateliers d'idéation de produits. Les clients s'investissent tellement dans les règles et procédures exactes d'un exercice que j'ai conçu pour les aider à libérer leur créativité qu'ils sont littéralement bouleversés lorsque j'élimine les règles et que je commence à saisir les idées qui jaillissent. Ils préfèrent souvent se taire et risquer de perdre leur idée plutôt que de sacrifier les règles bien définies de l'exercice - jusqu'à ce que je leur rappelle que l'exercice n'est qu'un outil et que ce qui compte vraiment, c'est l'idée.

L'IA n'est qu'un outil. Oui, c'est un outil puissant, mais ce n'est encore qu'un outil - l'un des nombreux outils dont nous disposons en tant qu'hommes d'affaires, membres de la société et êtres humains. Nous devons nous rappeler que l'objectif doit rester la création d'un environnement commercial plus diversifié, plus équitable et plus inclusif, afin que nous puissions créer de meilleurs produits, services et expériences pour nos consommateurs. Si nous ne le faisons pas, nous laissons de l'argent sur la table, nous laissons nos consommateurs insatisfaits, nous laissons nos entreprises sans les meilleurs talents et nous nous exposons au premier concurrent qui sera assez intelligent pour tirer parti de notre angle mort.

Les entreprises les plus intelligentes avec lesquelles j'ai travaillé sont celles qui définissent d'abord leurs objectifs et trouvent ensuite les outils pour les atteindre - et non l'inverse. Marshall McLuhan a dit un jour : "Nous façonnons nos outils et, par la suite, ce sont nos outils qui nous façonnent". Il s'agit d'une situation dans laquelle nous ne pouvons pas, et ne devons pas, laisser nos outils nous façonner si nous espérons continuer à avancer vers un avenir plus diversifié, sans parler d'un avenir plus rentable pour nos entreprises.

Cerrone Lundy est directeur à Vivaldi. Il travaille avec des organisations pour mieux comprendre les besoins de leurs clients et créer des produits, des services, des expériences et plus encore.