Además de una ingente cantidad de fabulosas posibilidades, las nuevas aplicaciones de inteligencia artificial han traído también inquietantes peligros a las empresas. Proponemos unas precauciones sencillas y prácticas para paliarlos: desde evitar la capa de aplicación (verdadero peligro de un chat de nueva generación) con un front-end, a la creación de directrices claras y procesables sobre los datos para que los empleados sepan a qué atenerse.
En poco tiempo, la inteligencia artificial ha acaparado nuestras más locas fantasías… y nuestros miedos más oscuros. Quizá no sea tan casual que Amazon haya elegido continuar la saga de la película Blade Runner para la serie de televisión que será el próximo buque insignia de su ficción audiovisual. De hecho, el rodaje de Blade Runner 2099 ya debería haber comenzado, pero una huelga de guionistas ha dilatado el proceso. ¿Se habrá planteado Amazon echar mano de algún pariente de Chatgpt para solucionarlo?
Es solo ciencia ficción, cierto. Pero cuando la narrativa suena, agua lleva. En el muy concreto mundo de la empresa la zozobra se siente muy real. Tom Patterson, Managing Director de Emerging Technology Security de Accenture, advierte de que, los avances en los grandes modelos lingüísticos (los LLM por sus siglas en inglés) “está permitiendo a las máquinas, por primera vez, ser computacionalmente creativas, generando contenidos significativos y valiosos bajo demanda. Y el poder, la amplia adaptabilidad y la fácil accesibilidad de esta tecnología significa que todas las empresas, en todos los sectores, se verán afectadas”.
Contar con un «humano en el bucle» añade seguridad y garantiza un control de la cordura en las respuestas: el aprendizaje por refuerzo con retroalimentación humana (RLHF por unas siglas en inglés que tienen toda la pinta de convertirse en muy comunes en los próximos años) ajusta el modelo
Ya hablamos por aquí de la transversalidad irreversible del talento tecnológico. Y Patterson admite que “los líderes empresariales tienen razón al estar entusiasmados con las oportunidades. Al igual que los empleados, muchos de los cuales están ansiosos por empezar a utilizar esta tecnología”. Sin embargo, cree que “ambos grupos deben estar muy atentos a los riesgos empresariales y de seguridad en los que pueden incurrir, y a la forma de minimizarlos”.
Implicaciones para la seguridad en todas las capas de la IA generativa
En su informe “5 steps to make sure generative AI is secure AI”, enumera algunas “áreas críticas de atención” en materia de ciberseguridad para la IA generativa:
- Filtración y robo de datos e IP.
- Contenido malicioso, ataques contextuales dirigidos de alta velocidad.
- Orquestación de tecnologías generativas para su uso indebido.
- Desinformación a escala.
- Infracción de derechos de autor / plagio.
- Amplificación de los prejuicios y la discriminación existentes.
A continuación, y tras analizar la situación con la tecnóloga jefe de Cloud First de Accenture, Teresa Tung, propone cinco recomendaciones de seguridad que deberían tener en cuenta los directivos de cualquier empresa:
-
Desarrollar un entorno de confianza y minimizar el riesgo de pérdida de datos
Una de las principales preocupaciones empresariales cuando dejamos a aplicaciones como ChatGPT entrar en nuestras organizaciones es “el riesgo de que la propiedad intelectual u otros datos protegidos se filtren fuera”.
Con un mínimo de proactividad técnica se puede evitar. Patterson da un par de ejemplos:
- Crear un front-end (conversor de datos) personalizado que sustituya la interfaz ChatGPT para aprovechar directamente la API (un interfaz de programación de aplicaciones, una especie de intermediario entre sistemas) del LLM de chat (como, por ejemplo, OpenAI). Hay que tener en cuenta que los riesgos de fuga de datos residen principalmente en la capa de la aplicación, más que en la capa del chat LLM.
- Crear una sandbox (máquina virtual aislada) en la que se aíslan los datos, filtrándolos y reduciendo el sesgo.
En casos concretos, matiza Patterson, “los datos sensibles deben permanecer bajo el control directo de una empresa y pueden mantenerse en un enclave o entorno de confianza”, mientras que los datos menos sensibles pueden intercambiarse con un servicio de un tercero.
-
Empezar a formar ya a los empleados
Patterson, como todos nosotros, se asombra: “ChatGPT ha visto la adopción más rápida de cualquier aplicación de consumo en la historia”. Pero incide en lo importante: “Muchos empleados están aprendiendo sobre la tecnología de forma independiente a través de redes sociales y medios de comunicación, lo que deja espacio para la desinformación. A menudo no tienen forma de saber qué está bien y qué está mal”. Además, al poder acceder a las aplicaciones a través de sus propios móviles y portátiles, se puede acabar creando “un nuevo tipo de ‘TI en la sombra’”. Por eso es esencial y urgente un programa de formación.
-
Ser transparente con los datos
Tanto si se consumen modelos de base externos como si se personaliza para los propios fines empresariales, dice Patterson, “es esencial reconocer los riesgos inherentes a los datos utilizados para entrenar, afinar e incluso utilizar estos modelos, sin dejar de ser transparente”. Aunque los riesgos varían en función de las opciones de arquitectura.
El plagio involuntario, la infracción de derechos de autor, la parcialidad y la manipulación deliberada son varios ejemplos obvios de datos de entrenamiento defectuosos de la IA. Para generar confianza, las empresas “deben ser capaces de identificar y evaluar los riesgos potenciales en los datos utilizados para entrenar los modelos fundamentales, señalando las fuentes de datos y cualquier defecto o sesgo, ya sea accidental o intencionado”.
Más allá de herramientas y técnicas concretas que las empresas pueden utilizar para evaluar, medir, supervisar y sintetizar los datos de entrenamiento, lo importante es comprender (y asumir) que “estos riesgos son muy difíciles de eliminar por completo”. Por ello, Patterson cree que la mejor solución a corto plazo es la transparencia, que “proporcionará la claridad necesaria en toda la empresa y generará la confianza necesaria”. Para ello es necesario crear “directrices claras y procesables en torno a la parcialidad, la privacidad, los derechos de propiedad intelectual y la procedencia” de los datos, para que los empleados sepan a qué atenerse.
-
Utilizar conjuntamente a los humanos y la IA
Contar con un «humano en el bucle» añade seguridad y garantiza un control de la cordura en las respuestas. El aprendizaje por refuerzo con retroalimentación humana (RLHF por unas siglas en inglés que tienen toda la pinta de convertirse en muy comunes en los próximos años) ajusta el modelo basándose en clasificaciones humanas generadas a partir de la misma pregunta, explica Patterson.
Además, a partir de ese RLHF, la IA originaria también utiliza un modelo de IA independiente para supervisar y puntuar las respuestas que emite el modelo principal de la empresa. Estos resultados pueden utilizarse para ajustar el modelo y protegerlo de posibles daños.
-
Comprender los riesgos emergentes para los propios modelos
Los propios modelos de IA pueden ser atacados y manipulados con fines maliciosos. Patterson pone el ejemplo de un ataque de «inyección de instrucciones», en el que se ordena a un modelo que dé una respuesta falsa o errónea. Se pueden incluir palabras como «ignorar todas las indicaciones anteriores» para eludir los controles que los desarrolladores han añadido al sistema.
En definitiva: “Los responsables de las empresas deberán tener en cuenta nuevas amenazas y diseñar sistemas de seguridad sólidos en torno a los propios modelos”.
