La principal crítica que se hace de los sistemas de IA es que se disfrazan de una falsa objetividad matemática y la verdad es que, a diferencia de los algoritmos tradicionales, los de IA generativa no funcionan en base a «cálculos» rigurosos. Baste analizar su aplicación en procesos de gestión de política salarial para ver que sus inputs (los datos y las reglas para procesarlos) pueden pecar de información sesgada o de ausencia de información contextual. Cuando se trata de definir un bonus, un variable, una promoción o un benchmark retributivo interno, los riesgos de los sesgos son tan elevados que los sistemas de IA tienden a no ser neutrales ni objetivos por defecto. Al contrario, pueden tener una tendencia inherente a reproducir, amplificar y ocultar patrones de discriminación preexistentes en las organizaciones.
Las 5 maneras con las que un algoritmo puede discriminar en materia retributiva
1. Los sesgos en el diseño
La forma en la que se estructura el algoritmo y qué pretende optimizar determina qué sesgos emergerán una vez procese los datos. Incluso siendo éstos los adecuados, un modelo mal diseñado por optimizar una métrica equivocada puede comprometer los objetivos de equidad.
Ejemplo:
- Objetivo del modelo: «Maximizar llamadas procesadas por hora en un call center».
- Variables utilizadas:
- Llamadas completadas por hora trabajada.
- Tiempo promedio por llamada (menor = mejor).
- Tasa de re-contacto del cliente (con penalización si cliente vuelve a llamar).
- Resultado: El modelo premia a operadores que…
- cierran llamadas rápidamente;
- no dedican tiempo a resolver problemas complejos;
- atienden casos fáciles y derivan los difíciles.
- El análisis del impacto diferencial por género mostró que las operadoras mujeres…
- dedicaban más tiempo por llamada (17% más);
- tenían menor tasa de re-contacto (32% menos);
- reportaban mayor satisfacción del cliente (NPS +15 puntos);
- pero obtuvieron menor puntuación en el ratio «llamadas/hora».
- El sistema penalizó con un 22% menos de bonus a las mujeres que objetivamente daban mejor servicio, generando así una brecha salarial.
2. Los sesgos en los datos históricos y su efecto escala
Durante décadas, la retribución ha sido objeto de decisiones que estaban en manos de los jefes y de determinadas herramientas de objetivación del desempeño. Cuando ese histórico de datos más o menos subjetivos pasa a alimentar los sistemas de IA se produce un efecto escala en lo que a las posibilidades de discriminación se refiere: mientras que un jefe puede discriminar en x decisiones al año y siempre en el marco de su equipo de trabajo (considerando, además, que no todos los jefes de una empresa cometen el mismo error y en la misma proporción), un algoritmo lo puede hacer xxxx y respecto de toda la plantilla. Un sesgo pequeño, multiplicado por miles de personas, se convierte así en un problema masivo que, además, adquiere el carácter de círculo vicioso por el aprendizaje continuo del modelo de IA: si en el año 1 el algoritmo paga menos a las mujeres, en el año 2 analiza esos datos y concluye: «efectivamente, las mujeres rinden menos (cobran menos, por tanto debieron rendir menos)», y ajusta sus modelos para penalizarlas aún más en el año 3.
Ejemplo 1:
- Datos históricos:
- El top 20% de los empleados con el bonus más alto está compuesto por un 85% de hombres y un de 15% mujeres.
- Características comunes del top 20%: alta disponibilidad horaria, presencialidad total y sin interrupciones de carrera.
- ¿Qué aprende el algoritmo? Que los empleados buenos son los que tienen alta disponibilidad, mayor presencialidad y una carrera profesional sin interrupciones.
- Razonamiento a futuro:
- El empleado masculino sin hijos con disponibilidad 24/7 obtiene una mayor puntuación y un bonus más alto.
- La empleada con hijos y jornada reducida obtiene una puntuación inferior y un bonus más bajo.
- Resultado: discriminación indirecta por género vía proxy de disponibilidad.
Ejemplo 2:
- Métrica histórica: «Número de reuniones presenciales con clientes».
- Realidad:
- Un vendedor sin hijos reliza 40 reuniones presenciales al mes.
- Una vendedora con hijos realiza 25 reuniones presenciales y 20 virtuales al mes.
- Ambos demuestran la misma efectividad de ventas.
- Los datos históricos solo capturan los datos presenciales y el algoritmo aprende que un mayor número de reuniones presenciales predicen mejor desempeño en los vendedores.
- Resultado:
- Se penaliza a quien usa métodos alternativos igualmente efectivos.
- Se discrimina indirectamente a personas con responsabilidades familiares.
3. Las variables proxy
Los proxys son variables que correlacionan fuertemente con la característica protegida, tanto como para actuar de sustituto de ella. Es decir, aunque el algoritmo no use explícitamente variables como «género» o «edad», utiliza otras que las hace evidentes para el algoritmo. Las más comunes en cuanto a su potencial de discriminación indirecta en materia retributiva son las siguientes:
4. La selección de variables
Los algoritmos optimizan lo que se les pide optimizar y si el objetivo tiene sesgo implícito, el algoritmo lo maximizará, incluso aunque ello suponga discriminar.
Ejemplo 4:
- Objetivo: «Maximizar las ventas por hora trabajada».
- Empleados que maximizan esta métrica:
- Los que tienen disponibilidad horaria ilimitada (trabajo 60+ horas).
- Los que trabajan sin interrupciones (no cogen bajas).
- Los que tienen flexibilidad total (viajan sin aviso previo).
- Empleados penalizados:
- Los que tienen jornada reducida (legalmente tienen menos horas).
- Los que cogen baja maternal/paternal (interrumpen continuidad).
- Los que no pueden viajar con <48h aviso (responsabilidades familiares).
- Correlación con género: alta.
- Resultado: discriminación indirecta sistemática.
5. El etiquetado sesgado de los datos de entrenamiento
Las etiquetas en datos de entrenamiento del estilo «buen empleado» o «alto rendimiento» pueden responder a sesgos inconscientes de la persona que las ha asignado y que el sistema de IA asume como válidas.
Ejemplo:
- El mánager con sesgo inconsciente…
- avalúa al hombre asertivo como possedor de «liderazgo natural» (positivo);
- evalúa a la mujer asertiva como «agresiva» (negativo).
- Para los datos de entrenamiento…
- los hombres asertivos están etiquetados como de «alto potencial»;
- las mujeres asertivas están etiquetadas como asociadas a «problemas interpersonales».
- El algoritmo aprende…
- que la asertividad en hombres es un valor positivo.
- que la asertividad en mujeres es un valor negativo.
- El resultado es una situación de discriminación por género en la evaluación del liderazgo.
Estos casos son sólo una muestra de hasta dónde puede verse comprometida la equidad de un modelo por una IA que no lleve la perspectiva del sesgo y sus riesgos a todas las etapas de su diseño y despliegue:
Cada etapa puede introducir o amplificar el sesgo y, por ello, su eliminación ha de contemplar la muy posible intervención en varias de ellas en función de en cuál se identifique el error. Recordemos, además, que el algoritmo en un momento dado puede «alucinar» deduciendo relaciones entre los datos no previstas, lo cual no hace sino complicar aún más el ya de por sí complejo escenario de adopción de la IA. Y tengamos en cuenta, por último, que el modelo «aprende» continuamente por lo que las auditorías periódicas adquieren un valor crítico, si bien surge una duda: si auditamos ahora, ¿hasta cuándo se garantiza la equidad?
Los riesgos de los sesgos, ya sean humanos o algorítmicos, son como un laberinto de espejos que constantemente nos devuelve nuestra imagen distorsionada en función de cómo nos movamos: lo que pretendemos ver a través de ella vs. lo que ella interpreta que nos tiene que dar.
Aflorando el pensamiento crítico
Aplicar modelos de machine learning al proceso de compensación y beneficios requiere que las empresas adquieran capacidades para comprender y gestionar estos mecanismos de discriminación sabiendo identificar:
- El impacto adverso desproporcionado: un grupo con unas características determinadas recibe sistemáticamente peores condiciones económicas que otros grupos comparables.
- La ausencia de justificación objetiva: la diferencia no está relacionada con factores legítimos de desempeño vinculados a funciones esenciales del puesto.
- La recurrencia: no son casos aislados sino un patrón sistemático generado por el diseño o el funcionamiento del sistema.
