Por Ana B. Muñoz, profesora titular en la Universidad Carlos III de Madrid y miembro del consejo Asesor de IA+IGUAL.- En diciembre de 2019 planteaba si se debían regular los algoritmos y la inteligencia artificial y cuál podría ser el camino a seguir. En aquella entrada se exponía la propuesta basada en los niveles de riesgo que precisamente ha sido la senda que ha asumido el nuevo Reglamento europeo de Inteligencia Artificial (en adelante, RIA) aprobado el 13 de marzo de 2024 por el Parlamento Europeo y del que se ha publicado una versión corregida el 16 de abril de 2024. En efecto, el RIA articula cuatro niveles de riesgo: riesgo inaceptable (1), alto riesgo (2), riesgo limitado (3) y riesgo mínimo (4). Medimos el nivel de riesgo en función de la probabilidad de que se produzca un perjuicio y la gravedad de dicho perjuicio para los derechos fundamentales de las personas. El interés de esta norma es notable, pues ya ha sido objeto de comentarios (vid. Rojo, Mercader, Rodríguez-Piñero, Todolí y Beltrán De Heredia).
Conviene advertir que, si bien es una norma que se dirige principalmente a controlar la comercialización de los sistemas de IA, se refiere también a los usuarios de esta tecnología y sus posibles usos en el ámbito laboral. De hecho, el RIA menciona al “responsable del despliegue”, que entendemos que puede ser la empresa o el empresario, y también se hace referencia a los trabajadores, la representación de los trabajadores y los convenios colectivos.
Lo primero que nos llama la atención es el salto cualitativo que supone el RIA respecto del Reglamento General de Protección de Datos (RGPD) por varias razones:
- En primer lugar, se da el paso de aprobar un marco jurídico de la IA que supone una mayor envergadura que el procesamiento de datos de carácter personal.
- En segundo lugar, se concede un especial protagonismo a los datos biométricos (rostro, voz, huella dactilar, movimientos corporales, entre otros) y sus nuevas formas de captación (remota, en tiempo real, en tiempo diferido, entre otros).
- Y tercer lugar, se supera el plano de los datos de carácter personal y se incluyen las emociones de las personas trabajadoras.
¿Por qué abordar los sistemas de reconocimiento de emociones en el RIA? La razón se explica en el preámbulo de la norma cuando se dice que los datos biométricos pueden permitir las funciones tradicionales (autenticación, la identificación o la categorización de las personas físicas) pero también el reconocimiento de las emociones de las personas físicas. Y esto es preocupante porque el tratamiento de datos biométricos por parte de las empresas puede derivar en el conocimiento de enfermedades de la persona trabajadora o predisposición a padecerlas sin cumplir la finalidad de prevención de riesgos laborales. A su vez, pueden producirse fallos del sistema de la IA debido a las singularidades culturales y derivar en discriminaciones. Sobre este tema, me remito a mi libro “Biometría y los sistemas automatizados de reconocimiento de emociones: implicaciones jurídico-laborales”, Tirant Lo Blanch, 2023.
Se define el sistema de reconocimiento de emociones como un sistema de IA destinado a distinguir o inferir las emociones o las intenciones de las personas físicas a partir de sus datos biométricos (artículo 3 (39) RIA). El concepto se refiere a emociones o intenciones como la felicidad, la tristeza, la indignación, la sorpresa, el asco, el apuro, el entusiasmo, la vergüenza, el desprecio, la satisfacción y la diversión. Pero no incluye los estados físicos, como el dolor o el cansancio, como, por ejemplo, los sistemas utilizados para detectar el cansancio de los pilotos o conductores profesionales con el fin de evitar accidentes. Tampoco incluye la mera detección de expresiones, gestos o movimientos que resulten obvios, salvo que se utilicen para distinguir o deducir emociones. Esas expresiones pueden ser expresiones faciales básicas, como un ceño fruncido o una sonrisa; gestos como el movimiento de las manos, los brazos o la cabeza, o características de la voz de una persona, como una voz alzada o un susurro (Considerando 18 del RIA).
En definitiva, la emoción de una persona expone su vulnerabilidad esencial. Se dice que un ser sin emociones porque se ha liberado de éstas no es un ser humano (Camps). De hecho, los ordenadores emocionales que simulan intencionalidad, emociones, valores y sentido común son eso, únicamente simulaciones, no realidades. Hacen como si sintieran, pero para sentir se necesita un cuerpo (Cortina).
Los sistemas de reconocimiento de emociones aparecen mencionados de forma explícita en el nivel de riesgo 1 (riesgo inaceptable), luego, están prohibidos. Sin embargo, se recogen dos excepciones. Señala el artículo 5.1 f) RIA: “Quedan prohibidas las siguientes prácticas de IA: (…) La introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA para inferir las emociones de una persona física en los lugares de trabajo y en los centros educativos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad”.
Se debe añadir que los sistemas de reconocimiento de emociones también podrían estar en el nivel de riesgo 2: sistemas de IA de alto riesgo cuando no estén prohibidos, por ejemplo, aquéllos que estén justificados por motivos médicos o de seguridad. De hecho, en el Anexo III del RIA donde se enumeran los sistemas de IA de alto riesgo aparecen los sistemas de IA destinados a ser utilizados para el reconocimiento de emociones y se dice en el Considerando (54) del RIA que: “Además, deben clasificarse como de alto riesgo los sistemas de IA destinados a ser utilizados para la categorización biométrica conforme a atributos o características sensibles protegidos en virtud del artículo 9, apartado 1, del Reglamento (UE) 2016/679 sobre la base de datos biométricos, en la medida en que no estén prohibidos en virtud del presente Reglamento, así como los sistemas de reconocimiento de emociones que no estén prohibidos con arreglo al presente Reglamento”.
En estos casos, se deberían aplicar por parte de los operadores incluyendo las empresas o entidades públicas que lo utilicen las obligaciones y garantías que se fijan en los artículos 26, 27 y 86 en el RIA para este nivel de riesgo. Si bien pensamos que los ejemplos que podrían encajar en estas excepciones son limitados (en la medida que el RIA ha excluido los sistemas utilizados para detectar el cansancio de los pilotos o conductores profesionales de la definición de sistema de reconocimiento de emociones los sistemas utilizados para detectar el cansancio de los pilotos o conductores profesionales), podemos mencionar alguno. Sería el caso de las cámaras de IA que algunas cárceles españolas han implantado para identificar expresiones faciales y lenguaje corporal de los reclusos. Vid. noticia.
A su vez, también podríamos entender que habrá sistemas de este tipo que encajen en el nivel de riesgo 3 (nivel de riesgo limitado) cuando no se basen en los datos biométricos de las personas empleadas. El artículo 50 del RIA se refiere a la IA que se destina a interactuar con personas físicas tales como los robots de software (por ejemplo, chatbots). Desde nuestra perspectiva, si el robot de software se apoya en el lenguaje escrito para inferir emociones o intenciones estaríamos en el nivel de riesgo 3 y se aplicarán las obligaciones del artículo 50 RIA (deber de transparencia). Ahora bien, si en la conversación entre el chatbot y la persona trabajadora procesa la voz de la persona física (dato biométrico) podríamos estar en el nivel de riesgo 1 o 2 según las circunstancias.
El nivel de riesgo 4 (riesgo mínimo) incluye, entre otros, los videojuegos con IA o filtros de spam. En este nivel de riesgo podríamos mencionar la aventura gráfica y el uso de la gamificación con finalidad laboral. Este tipo de tecnología puede provocar en las personas empleadas distintas emociones durante el proceso como alegría, frustración, decepción, triunfo…
Sin duda, la aprobación de esta norma inaugura una nueva rama del Derecho del Trabajo de la IA cuyo análisis y seguimiento promete ser apasionante. Y donde la negociación colectiva tiene mucho que aportar sobre todo en el terreno de los casos dudosos, es decir, cuando el nivel de riesgo (1-4) no esté claro y se deba recurrir a la ética. Al respecto, ya existen convenios colectivos que apuntan esta dirección. Un ejemplo es la siguiente cláusula: “Las partes firmantes del presente convenio se comprometen a realizar un uso transparente, razonado y ético de la inteligencia artificial, conforme a los criterios y reglas que se establezcan en la normativa de aplicación” (DA 4ª del III Convenio colectivo de ámbito estatal de la industria de producción audiovisual).
