Marco Tulio Daza es miembro del grupo de expertos seleccionado por la Comisión Europea para redactar el Código de Prácticas de IA de Propósito General bajo el Reglamento de IA. Experto en herramientas basadas en inteligencia artificial, propone en esta entrevista, desde una perspectiva ética, interesantes medidas para mitigar el riesgo de sesgos de los distintos modelos de lenguaje que dan lugar a estereotipos y discriminación en la empresa y la sociedad.
ORH.- La Comisión Europea ha puesto en marcha una consulta para la elaboración del borrador de un código de buenas prácticas para proveedores de modelos de Inteligencia Artificial (IA) de propósito general (GPAI, por sus sigla en inglés). ¿Cuál es la dinámica del grupo de expertos al que pertenece y su cometido individual?
Marco Tulio Daza.- La Oficina Europea de IA está desarrollando un Código de Prácticas para IA de propósito general, cuyo objetivo es orientar a los proveedores en el cumplimiento del Reglamento de IA de la UE (RIA). Este código, diseñado para asegurar un uso ético, seguro y transparente, funcionará como una guía hasta que se adopten estándares armonizados en Europa y sentará las bases para dichos estándares, que entrarán en vigor a partir de 2027. El proceso incluye la participación de sectores como la industria, el mundo académico y la sociedad civil, organizados en grupos de trabajo para abordar temas clave como la transparencia y la gestión de riesgos. Las rondas de redacción se están realizando desde el pasado mes septiembre y concluirán en 2025.
Personalmente, tengo interés en contribuir a la creación de un marco ético y regulatorio que promueva el desarrollo y uso responsable de modelos de inteligencia artificial (IA) de propósito general (GPAI), como ChatGPT y otros modelos de lenguaje. Me preocupa especialmente su capacidad para generar y difundir desinformación y el impacto que puede tener en la democracia y en la sociedad como, por ejemplo, la polarización social y radicalización política que se alimenta de la diseminación de noticias falsas y teorías conspirativas a través de los feeds impulsados por IA en la social media. Mi experiencia en ética de IA centrada en el impacto social de la tecnología puede aportar una perspectiva valiosa a este trabajo; al mismo tiempo, me motiva aprender sobre el proceso de construcción de consensos entre diversos actores y partes interesadas.
Arma de engaño masivo
ORH.- Como coautor del artículo de investigación ‘ChatGPT: Más que un “arma de engaño masivo”…’, ¿qué va a aportar acerca de los posibles sesgos derivados del uso de modelos de lenguaje de la IA?
M.T.D.- Nuestro estudio ChatGPT: More than a “Weapon of Mass Deception”. Ethical challenges and responses from the Human-Centered Artificial Intelligence perspective se publicó en abril del año pasado y ha sido bien recibido en la comunidad académica (tiene más de 100 citas). Se enfoca en identificar los problemas éticos que surgen con ChatGPT y otros modelos de lenguaje similares e identificamos como riesgo principal la producción a escala de desinformación y la posibilidad de habilitar actividades ilegales o inmorales a través del engaño.
Una de las causas de la desinformación producida, aunque no la única, es la presencia de sesgos en estos modelos, que pueden promover estereotipos y derivar en conductas discriminatorias. Estos sesgos tienen su origen en los datos utilizados para entrenar a los modelos de IA. Una fuente importante son los foros, blogs y las plataformas sociales en internet donde no siempre se observa la corrección política. Algunos de estos espacios promueven actitudes abiertamente racistas, misóginas o de odio, lo que puede impactar en los modelos de IA. Por otro lado, las series de datos históricos pueden reflejar distintos estándares en diferentes geografías o épocas: un ejemplo es el derecho al voto de las mujeres, que no fue ampliamente reconocido en la mayoría de los países hasta el siglo XX.
Además, la intervención de personas que brindan retroalimentación a través del Entrenamiento de Reforzamiento con Retroalimentación Humana (RLHF) puede estar influenciada por sus propias percepciones y prejuicios. Paradójicamente, estos sesgos humanos podrían incorporarse de forma involuntaria en los mismos modelos de IA en los que se busca mitigar otros sesgos provenientes de los datos de entrenamiento. Nuestro estudio examina el potencial y la limitación de estos modelos de IA y proponemos medidas para enfrentar estos desafíos e identificar buenas prácticas para su uso adecuado: desde el punto de vista técnico, hablamos de marcas de agua, estilo, detectores y verificación de los resultados; también proponemos otras medidas como la transparencia, consideraciones para educadores y participación humana en el proceso para mitigar el mal uso o abuso de ChatGPT. Creo que es un punto valioso a considerar en el momento de participar en las rondas de redacción del Código de Prácticas.
Métricas y otros datos
ORH.- También colabora desde DATAI con IA+Igual, proyecto que trata de detectar sesgos en el uso de la IA en RR. HH. ¿Qué es lo que más le preocupa, teniendo en cuenta que ya conocemos experiencias negativas derivadas del uso de ChatGPT, por ejemplo?
M.T.D.- Los sesgos algorítmicos pueden amplificar desigualdades al sistematizarlas y aplicarlas de forma masiva, lo cual representa un problema significativo. Existen varias definiciones técnicas de equidad para mitigar estos problemas en modelos de IA, pero tienen limitaciones y en ocasiones pueden contraponerse.
Una de estas métricas es la paridad estadística, que busca una tasa similar de decisiones positivas entre grupos, sin considerar posibles diferencias justificadas: por ejemplo, un algoritmo de promociones en una empresa que aplique paridad estadística promovería a empleados de distintas edades en proporciones iguales, incluso si los candidatos jóvenes tienen, en promedio, menos experiencia. La igualdad de oportunidades, en cambio, se centra en equilibrar las tasas de falsos positivos y negativos entre grupos, aunque esto puede afectar a la precisión global: aplicar esta métrica significaría ajustar un sistema de evaluación de rendimiento laboral para dar el mismo porcentaje de evaluaciones altas a empleados de distintos departamentos, aunque algunos exigen habilidades técnicas más complejas. Finalmente, la calibración se enfoca en que las probabilidades predichas coincidan con los resultados reales promedio en la población total y puede requerir renunciar a la paridad estadística, ya que algunos grupos pueden tener tasas de resultados distintas debido a factores externos: sería el caso de un sistema de diagnóstico médico, en el que quizá ciertas condiciones de salud pueden ser más prevalentes en algunos grupos debido a factores genéticos o socioeconómicos.
Mitigar los sesgos y construir algoritmos justos y equitativos es una tarea compleja que exige analizar las circunstancias específicas de cada caso. Creo que una manera efectiva de abordar este desafío es desde una perspectiva sociotécnica, en la cual las personas desempeñan un papel fundamental. En situaciones donde exista riesgo de daño, es crucial que las personas comprendan plenamente las recomendaciones que ofrecen los modelos de IA y que tengan la responsabilidad de tomar la decisión final, con un entendimiento completo de sus implicaciones.
ORH.- Hemos hablado de ChatGPT, pero los departamentos de Recursos Humanos también suelen rastrear las redes sociales de los candidatos a un puesto de trabajo gracias a la IA, como por ejemplo Facebook, para detectar sus competencias soft. ¿Es lícito?
M.T.D.- Estoy ultimando un artículo titulado An Analysis of Facebook’s Privacy Practices Through the Lens of Compliance, Integrity, and Excellence, que aborda los problemas éticos derivados del modelo de negocio de Meta Platforms Inc. Este trabajo me llevó a examinar los riesgos inherentes a la publicación de información personal en una plataforma social. Encontré evidencia de cómo algunos empleadores usan Facebook para monitorear las actividades de los empleados, rastrear comportamientos inapropiados, discriminar en los procesos de contratación y tomar decisiones que, en muchas ocasiones, están sesgadas.
Hace algunos años, en EE. UU. era común que los empleadores pidieran a los candidatos sus claves de acceso a Facebook para revisar sus publicaciones, una práctica que funcionaba debido a la clara asimetría de poder entre reclutador y candidato y a la vez representaba una grave invasión de la privacidad. Aunque esto ya no sucede, los algoritmos de reclutamiento siguen explorando los perfiles públicos de redes sociales de los candidatos para evaluar quiénes podrían encajar mejor en ciertas posiciones. Esto podría considerarse una invasión a la privacidad, un derecho humano fundamental, ya que vulnera la capacidad de las personas para decidir qué información desean mostrar a sus jefes o posibles empleadores. Si bien es cierto que las personas son responsables de lo que publican en sus redes, también es evidente que el modelo de negocio de estas empresas incentiva a los usuarios a compartir la mayor cantidad de información posible para construir perfiles y vender publicidad dirigida. Meta recibe el 98% de sus ingresos de la venta de esta publicidad.
ORH.- Los jóvenes son responsables de lo que difunden en sus redes sociales, pero a veces son etiquetados sin permiso en fotos o vídeos que quizá ellos no hubiesen difundido. En su poliédrico perfil destaca su faceta educativa: ¿Qué recomendaciones daría a los futuros empleados y a los directores de Recursos Humanos para usar de forma ética las RR.SS?
M.T.D.- Pienso que conviene mirar hacia la literacidad digital, que es la capacidad de las personas para utilizar y evaluar de manera crítica las herramientas digitales. Muchas veces nos enfocamos en promover el conocimiento técnico para utilizar las plataformas, y dejamos de lado la capacidad de evaluar críticamente sus efectos potenciales. Los jóvenes deben tener conciencia de los efectos que puede tener compartir demasiada información en plataformas de acceso público y cultivar la prudencia como una virtud fundamental para enfrentar los riesgos de las plataformas digitales.
El valor de la privacidad radica en que nos permite construir distintos tipos de relaciones con diferentes personas, controlando cuánta información compartimos con cada una. Lo que compartes con tu pareja es distinto de lo que compartes con amigos o con tu empleador. Un uso inadecuado de las redes sociales puede erosionar esta capacidad, y la literacidad digital nos brinda herramientas para enfrentar estos desafíos. Es fundamental fomentar esta habilidad desde etapas tempranas de la formación.
ORH.- Como experto en ética de la IA en los negocios, ¿En qué lugar debería figurar esta en el Libro Blanco con recomendaciones para el buen uso de la IA que está elaborando DATAI para el Proyecto IA+Igual?
M.T.D.- La ética debería ocupar un lugar central y ser un eje transversal en las recomendaciones del Libro Blanco de DATAI e IA+Igual, particularmente en un área tan sensible como la gestión de personas, donde las decisiones pueden afectar sus derechos y tener un impacto significativo en su bienestar. La razón es sencilla: la IA es una herramienta destinada a ayudarnos a alcanzar nuestros objetivos sin causar daños. La ética nos proporciona el marco para identificar y comprender los riesgos que la IA podría suponer para las personas y nos guía en la adopción de medidas para mitigarlos. Estas consideraciones éticas deben aportar claridad sobre cómo implementar estos modelos en un contexto sociotécnico, donde las recomendaciones algorítmicas puedan comprometer derechos humanos, incurrir en prácticas discriminatorias o causar otros daños. Es fundamental que el Libro Blanco integre recomendaciones que garanticen la equidad, la transparencia y la supervisión humana en el proceso de toma de decisiones. Pero estas recomendaciones deben estar aterrizadas en un razonamiento ético o nos arriesgamos a que sean carentes de sentido o inapropiadas.
