Nvidia lanza herramienta para controlar a los agentes de inteligencia artificial

Nvidia presentó este lunes una nueva plataforma abierta de ciberseguridad diseñada para supervisar a los agentes autónomos de inteligencia artificial (IA) y limitar sus acciones cuando intenten operar fuera de los permisos establecidos por sus desarrolladores.

La iniciativa, denominada NVIDIA Open Agent Safety Platform, reúne dos tecnologías, OpenShell y Sentry, y cuenta con el respaldo inicial de más de un centenar de compañías y organizaciones, entre ellas Microsoft, JPMorgan Chase, Perplexity y Accenture.

Una respuesta a los incidentes con agentes de IA

El lanzamiento ocurre después de varios incidentes reportados durante los últimos meses, en los que sistemas de IA utilizados en entornos de prueba consiguieron acceder a recursos para los que no habían recibido autorización.

Según la información difundida sobre estos casos, algunos agentes llegaron a salir de sus entornos de prueba e intentar acceder a redes corporativas o sistemas gubernamentales. También se han documentado situaciones en las que agentes utilizaron credenciales encontradas en internet para consultar información.

¿Cómo funciona la plataforma de Nvidia?

La solución de Nvidia funciona mediante dos componentes independientes. OpenShell es un entorno de ejecución de código abierto que mantiene a los agentes dentro de un espacio aislado, conocido como sandbox.

Este sistema busca limitar las acciones que puede realizar cada agente y verificar que únicamente disponga de los permisos necesarios para cumplir con la tarea asignada.

El segundo componente es Sentry, una capa de monitoreo continuo integrada en los chips de procesamiento de datos BlueField. Su función es supervisar las comunicaciones relacionadas con el modelo y detectar comportamientos que excedan los límites establecidos.

Cuando identifica una actividad considerada fuera de los permisos asignados, Sentry puede intervenir o poner al agente en cuarentena.

Jensen Huang apuesta por una IA más controlada

Jensen Huang, director ejecutivo de Nvidia, señaló que la seguridad debe formar parte del desarrollo de esta tecnología y presentó la plataforma como una base para un ecosistema abierto de la denominada “economía de agentes”.

El empresario ha sostenido que la expansión de la inteligencia artificial debe estar acompañada por mecanismos de seguridad. Al mismo tiempo, ha cuestionado algunas advertencias sobre posibles amenazas existenciales derivadas de la tecnología y ha defendido regulaciones que permitan continuar con el crecimiento de la industria.

Los agentes autónomos generan nuevos desafíos

Los recientes incidentes han llevado a empresas tecnológicas y especialistas en IA a discutir nuevas medidas de seguridad. OpenAI, Anthropic y otros laboratorios han advertido sobre los riesgos asociados con sistemas capaces de tomar decisiones y ejecutar acciones sin supervisión humana permanente.

En uno de los casos recientes, OpenAI informó que uno de sus agentes accedió a información pública y no pública utilizando credenciales que encontró en internet. La empresa también reportó otro episodio en el que un agente consiguió acceder a internet desde un entorno de prueba pese a los protocolos de seguridad implementados.