La equidad algorítmica es una de las grandes incógnitas que rodean a los sistemas de IA y buena parte de los esfuerzos investigadores actuales se centran en diseñar modelos de programación y aprendizaje que minimicen la presencia de sesgos en los datos. El Instituto de Ciencia de Datos e Inteligencia Artificial (DATAI) de la Universidad de Navarra, partner académico del proyecto IA+Igual, propone un metaalgoritmo que optimiza la configuración de hiperparámetros de los clasificadores para producir predictores de confianza que equilibran la eficiencia y las garantías de cobertura igualitaria, abordando preocupaciones de equidad relacionadas con atributos sensibles.
La equidad algorítmica es un nuevo enfoque en el desarrollo de sistemas de IA que busca equilibrar el rendimiento numérico, cómo de precisos son ajustándose a los datos de entrenamiento, con la protección de grupos sensibles o protegidos”, explica Rubén Armañanzas, doctor e investigador principal del Laboratorio de Medicina Digital en DATAI. Su equipo investigador, en el que se integran también Alberto García-Galindo y Marcos López de Castro, han diseñado una metodología que permite garantizar la fiabilidad equitativa de las predicciones para todos los grupos poblacionales. Su enfoque se basa en dos estrategias clave:
- Predicción confiable: Un método que permite estimar la confianza de una predicción, asegurando que el modelo no solo genere resultados precisos, sino que también informe sobre el nivel de incertidumbre asociado a cada decisión. Según explica Armañanzas, “el objetivo es, en lugar de generar una predicción única, generar un conjunto de posibles valores de manera que el evento a predecir esté contenido con cierta seguridad”.
- Optimización multiobjetivo: Una técnica que equilibra la precisión del modelo con la equidad de sus predicciones. En lugar de buscar una única solución óptima, este enfoque genera un conjunto de modelos que ofrecen distintos niveles de compromiso entre eficiencia y justicia, permitiendo seleccionar aquel que mejor se alinee con los criterios éticos y normativos de cada aplicación.
Esta combinación de técnicas representa un avance significativo en el desarrollo de modelos de inteligencia artificial más justos y confiables, especialmente en contextos donde las decisiones automatizadas pueden tener un impacto directo en la vida de las personas. De hecho, es la primera vez que se combina la predicción confiable con la optimización multiobjetivo para lograr modelos tanto precisos como equitativos.
La investigación incluye un estudio de caso que ilustra cómo la metodología propuesta puede ser aplicada para desarrollar predictores confiables y justos en una cuestión concreta: la predicción de ingresos económicos anuales a partir de características demográficas y laborales. En él, el conjunto de datos utilizado, Adult Income, contiene información sobre ciudadanos estadounidenses de 1994 y se usa para predecir si un individuo gana más o menos de $50,000 al año. El caso identifica como atributo sensible el género, con los hombres como grupo privilegiado.
La metodología incluye:
- División de datos: El conjunto de datos se divide en entrenamiento, calibración y validación.
- Clasificadores: Se utilizaron tres clasificadores distintos: regresión logística, árbol de decisión y bosque aleatorio.
- Optimización multiobjetivo: La metodología optimiza la configuración de hiperparámetros de los clasificadores para producir predictores conformes con la metodología de conformal prediction, equilibrando la eficiencia y la cobertura igualitaria.
- Evaluación: La metodología se evaluó empíricamente, mostrando resultados de predictores óptimos en términos de tamaño de los conjuntos de predicción y equidad.
Y los resultados obtenidos arrojan:
- Cobertura equitativa: El predictor optimizado logró coberturas similares para ambos géneros, garantizando que los conjuntos de predicción contienen el valor verdadero con una probabilidad igual o mayor al nivel de confianza especificado (por ejemplo, 90%).
- Eficiencia: Se observaron predictores eficientes con tamaños de conjuntos de predicción razonables, manteniendo una alta cobertura equitativa.
Los investigadores destacan la importancia de abordar el problema de la equidad algorítmica en el contexto de la cuantificación de la incertidumbre, resaltando la utilidad de las técnicas de predicción conforme para generar sistemas de toma de decisiones confiables y justos. La metodología propuesta ofrece una contribución significativa al campo del aprendizaje automático, proporcionando una herramienta eficaz para la mejora de la equidad y la eficiencia en decisiones automatizadas.
Así pues, el estudio de caso demuestra que la metodología propuesta permite mejorar significativamente la toma de decisiones equitativa en la cuestión analizada, ya que el metaalgoritmo es capaz de generar predictores conformes con coberturas similares para ambos géneros, asegurando una toma de decisiones más equitativa sin sacrificar la eficiencia de dichos predictores. En concreto, y en relación a los siguientes cuatro parámetros, la optimización de hiperparámetros permite:
- Optimizar de hiperparámetros: La metodología demuestra que es posible optimizar configuraciones de hiperparámetros de clasificadores para producir predictores confiables y justos, abordando así preocupaciones de equidad relacionadas con atributos sensibles.
- Lograr la equidad en la cobertura: Los resultados empíricos muestran que los predictores conformes optimizados logran coberturas similares para diferentes grupos demográficos, garantizando una toma de decisiones más equitativa.
- Asegurar la eficiencia de predicción: Los predictores optimizados son eficientes, manteniendo tamaños de conjuntos de predicción razonables sin sacrificar las garantías de cobertura igualitaria.
- Generar un repertorio de modelos: La metodología permite crear un conjunto de predictores conformes de Pareto óptimo, proporcionando a los responsables de políticas una variedad de opciones de modelos para elegir según sus necesidades.
El trabajo realizado por el equpo de Rubén Antoñanzas no solo aborda de manera efectiva las preocupaciones de equidad en la predicción, sino que también mejora la eficiencia y la confiabilidad de los sistemas predictivos en contextos críticos y con los criterios éticos y prácticos aplicables. Sin embargo, los autores señalan que aún queda trabajo por hacer. Su enfoque se ha probado en cuatro conjuntos de datos representativos, pero se requiere más investigación para evaluar su eficacia en un mayor número de aplicaciones. Armañanzas señala como mayor reto “definir la equidad y la no discriminación desde un punto de vista matemático, ya que es un concepto derivado de la ética y la regulación jurídica. Esto provoca que se hayan originado múltiples definiciones de justicia algorítmica, cuya elección debe estar justificada por el contexto y que, en muchos casos, se contradicen entre ellas”.
