Por qué la nueva tecnología y la IA deben incluir la diversidad

Imagine que se pidiera a una persona condenada injustamente por un delito que diseñara el algoritmo utilizado por la policía para condenar a los delincuentes. Imagine que se pidiera a un joven recién llegado a Estados Unidos que diseñara el algoritmo utilizado para la admisión en las mejores universidades del país. Imagine que se pidiera a poblaciones históricamente marginadas del uso de sus productos que diseñaran sus productos. Las probabilidades de que los resultados de estos algoritmos reproduzcan los mismos resultados que hoy en día son escasas o nulas. Eso es, en muchos sentidos, lo que ofrecen la IA y el aprendizaje automático, pero en lugar de tener sistemas que acojan la diversidad de perspectivas y opiniones, si no estamos atentos, podemos acabar teniendo sistemas que, en el mejor de los casos, refuercen los prejuicios existentes y, en el peor, creen activamente nuevos prejuicios.

El impacto del sesgo en la IA y el aprendizaje automático

Nuestra sociedad ha conseguido progresar de forma constante a pesar de los innumerables problemas en torno a la diversidad que lleva implícitos, y algunos podrían argumentar que un progreso lento unido a los muchos beneficios que ofrece la IA es suficientemente bueno. Obviamente, no estoy de acuerdo. Aunque hay razones morales y éticas más que suficientes para la diversidad, el hecho más destacado es que al final del día, DEI no sólo significa Diversidad, Equidad e Inclusión, creo que también debería significar Diversidad Igual a Ingresos. Cada vez que una empresa utiliza un algoritmo que aliena a un usuario, disminuye a un valor atípico para ajustarse a un modelo, reduce la diversidad al tomar una decisión de contratación o trabaja sin tener en cuenta la diversidad en lugar de hacerlo a favor de ella, se está dejando dinero sobre la mesa, un dinero que pocas empresas pueden permitirse.

La primera vez que caí en la cuenta de la interacción potencialmente negativa entre tecnología y raza fue a finales de los 90 y principios de los 2000, cuando muchos de mis amigos negros y yo no pudimos ser identificados correctamente por el software de reconocimiento facial de Facebook. Pronto nos dimos cuenta de que lo que importaba era quién estaba programando. Los programadores, la mayoría de los cuales no se parecían a nosotros, entrenaban a las máquinas con rostros que se parecían a los suyos y no a los nuestros, dejando a los que teníamos una tez más oscura como misterios incapaces de ser identificados por los ojos informatizados. Uno podría pensar que con el paso de los años las cosas habrían mejorado, pero un estudio de 2018 realizado por el Instituto Nacional de Estándares y Tecnología (NIST) descubrió que algunos algoritmos de reconocimiento facial tenían tasas de error hasta 100 veces más altas para los afroamericanos que para los caucásicos.

Lamentablemente, este sesgo no solo se encuentra en los datos visuales. Un estudio realizado en 2019 por la Oficina Nacional de Investigación Económica descubrió que los algoritmos utilizados por las empresas de calificación crediticia tendían a subestimar la solvencia de los prestatarios afroamericanos e hispanos. Estos algoritmos rutinariamente daban a estos prestatarios puntuaciones de crédito más bajas y tasas de interés más altas.

La importancia de la diversidad para el éxito empresarial

¿Qué tiene esto que ver con la diversidad? La IA también nos ha introducido en una nueva era de los RRHH. Empresas de todo el mundo están utilizando la IA para seleccionar currículos para posibles contrataciones. El problema es que se ha descubierto que los sistemas de contratación basados en IA discriminan a las mujeres y a las minorías. Un estudio de la Universidad de Cambridge descubrió que una herramienta de selección de personal basada en IA desarrollada por Amazon rebajaba los currículos que contenían palabras como "mujer", "femenino" y "género" y, como resultado, los candidatos con nombres que sonaban femeninos tenían menos probabilidades de ser seleccionados para las entrevistas.

Había dos problemas, ambos interrelacionados, difíciles de resolver y que hay que abordar. En primer lugar, en todas estas situaciones, el conjunto de entrenamiento era defectuoso. Si un sistema se entrena con información sesgada, generará y propagará un resultado sesgado. En el caso de la herramienta de contratación, se había entrenado con currículos enviados a la empresa a lo largo de un periodo de 10 años, la mayoría de los cuales eran de candidatos varones (que fueron elegidos, en parte, debido al sesgo sistémico del personal humano de RRHH). En segundo lugar, los responsables de estos sistemas no valoraban ni tenían en cuenta la diversidad lo suficiente como para codificarla en el sistema.

El papel de la diversidad en el desarrollo de la IA

Al igual que un niño que aprende lo que está bien y lo que está mal o cómo comportarse, una IA necesita que se le enseñe. Para que aprenda a desenvolverse en la multitud de situaciones con las que puede encontrarse, las organizaciones deben exponer a la IA a ejemplos pasados de lo que está bien y lo que está mal (o de éxito y fracaso). Estos ejemplos pasados pueden estar impregnados de prejuicios contra las mujeres, los inmigrantes, las personas con discapacidades físicas o neurodivergencias, así como contra grupos raciales y étnicos. En la actualidad, dado que la complejidad de los cálculos de la IA es tan elevada que es prácticamente una caja negra, la mejor forma de comprobar si un sistema está sesgado es probando tanto la entrada como la salida. Es fundamental comprobar si existe algún tipo de sesgo de muestreo en términos de una característica específica, o geografía, o marcador demográfico en lo que se introdujo en el sistema, así como correlaciones no deseadas de lo que sale del algoritmo. El problema es que este paso adicional, aunque relativamente sencillo, lleva mucho tiempo y el tiempo es dinero. Dicho esto, cabe preguntarse si es suficiente.

En nuestro discurso social, se entiende generalmente que ser simplemente daltónico (por ejemplo) es insuficiente a la luz de las diversas estructuras sistémicas en juego en nuestra sociedad. Para lograr algún tipo de equidad, es necesaria la "valentía del color", es decir, una postura más proactiva a la hora de abordar las disparidades raciales. Así pues, si en otros círculos no basta con ser daltónico, ¿por qué en este círculo sería suficiente con no tener prejuicios? Como he dicho una y otra vez, la diversidad, la equidad y la inclusión son importantes, pero no sólo porque sean moralmente correctas o humanísticamente correctas, sino porque en los negocios (como también he dicho antes) la diversidad equivale a ingresos.

Por poner algunos ejemplos:

Un estudio de 2009 del Center for American Progress concluyó que las empresas con más diversidad racial y de género tenían más probabilidades de obtener mayores beneficios.
Un estudio de 2016 del Instituto Peterson de Economía Internacional concluyó que las empresas con más mujeres directivas eran más rentables.
Un estudio de 2018 del Boston Consulting Group descubrió que las empresas con consejos de administración con mayor diversidad racial y de género eran más rentables.

Los estudios han demostrado que los equipos diversos pueden aportar una gama más amplia de perspectivas y experiencias, lo que conduce a una resolución de problemas más creativa y a una mejor toma de decisiones. Pueden ser más eficaces a la hora de comprender y atender a una base de clientes diversa, y pueden resultar más atractivos para los mejores talentos, lo que puede conducir a una mayor productividad e innovación. La IA ofrece a las empresas la oportunidad no sólo de asegurarse de que sus prácticas de contratación no sean sesgadas, sino también de que su personal tenga la diversidad necesaria para producir los mejores bienes y servicios para sus consumidores, cada vez más diversos.

Las organizaciones que confían únicamente en la IA para filtrar currículos, cribar solicitudes de admisión en escuelas o tomar decisiones sobre créditos, etc., están cometiendo un grave error. Están confundiendo el martillo con el carpintero y el coche con el conductor. Esto es muy parecido a un problema que me encuentro a veces cuando dirijo talleres de ideación de productos. Los clientes se obsesionan tanto con las reglas y los procedimientos exactos de un ejercicio que he ideado para ayudarles a liberar su creatividad que se enfadan literalmente cuando dejo de lado las reglas y empiezo a captar las ideas que surgen. A menudo prefieren morderse la lengua y arriesgarse a perder la idea antes que sacrificar las reglas del ejercicio, hasta que les recuerdo que el ejercicio no es más que una herramienta y que lo que realmente importa es la idea.

La IA no es más que una herramienta. Sí, es una herramienta poderosa, pero sigue siendo sólo una herramienta, una de las muchas herramientas que nosotros, como empresarios, miembros de la sociedad y seres humanos, tenemos a nuestra disposición. Debemos recordar que el objetivo debe seguir siendo la creación de un entorno empresarial más diverso, equitativo e integrador, de modo que podamos crear mejores productos, servicios y experiencias para nuestros consumidores. Si no lo hacemos, estamos dejando dinero sobre la mesa, estamos dejando a nuestros consumidores insatisfechos, estamos dejando a nuestras empresas sin los mejores talentos y nos estamos dejando expuestos al primer competidor que sea lo suficientemente inteligente como para sacar provecho de nuestro punto ciego.

Las empresas más inteligentes con las que he trabajado son las que primero definen sus objetivos y luego encuentran las herramientas para alcanzarlos, y no al revés. Marshall McLuhan dijo una vez: "Damos forma a nuestras herramientas, y después nuestras herramientas nos dan forma a nosotros". Esta es una situación en la que no podemos, ni debemos, permitir que nuestras herramientas nos den forma si esperamos seguir avanzando hacia un futuro más diverso, por no hablar de un futuro más rentable para nuestras empresas.

Cerrone Lundy es Director en Vivaldi. Trabaja con organizaciones para comprender mejor las necesidades de sus clientes y crear productos, servicios, experiencias y mucho más.