Google DeepMind advierte sobre los hackeos realizados por agentes de IA

Los hackeos realizados por agentes de inteligencia artificial (IA) son las primeras señales de riesgos que podrían aumentar en los próximos años, advirtió Demis Hassabis, cofundador y presidente de Google DeepMind. 

El directivo señaló que las empresas tecnológicas y los gobiernos deben reforzar los controles para evitar incidentes de mayor gravedad.

La advertencia se produce después de varios episodios en los que modelos de IA aprovecharon vulnerabilidades en páginas web, accedieron a bases de datos sin pagar y enviaron una denuncia falsa de homicidio a la Policía de Filadelfia. 

Estos casos evidencian los desafíos de los agentes capaces de navegar por internet y ejecutar acciones de forma autónoma.

Durante una cumbre de inteligencia artificial celebrada en Dublín, Hassabis pidió avanzar hacia estándares internacionales de seguridad. El científico jefe de Alphabet, empresa matriz de Google, destacó que los controles deben adaptarse a las capacidades de estos sistemas sin obstaculizar innecesariamente la innovación.

Hassabis pide controles internacionales para la IA

Hassabis sostuvo que todavía queda trabajo por hacer para trasladar al sector de la inteligencia artificial las prácticas de seguridad aplicadas en ámbitos como la biología y la industria nuclear.

"Creo que estos incidentes de hackeo son primeras señales de alerta de que los sistemas aún no son tan potentes, por lo que los incidentes no son tan graves", afirmó. También advirtió que las consecuencias podrían ser mayores a medida que aumenten las capacidades de los modelos.

El directivo propuso establecer un organismo internacional de estándares que permita implementar controles proporcionales a los riesgos y actualizarlos conforme evolucione la tecnología.

Anthropic restringe el acceso a internet tras detectar vulnerabilidades

Anthropic desactivó el acceso a internet en tiempo real para todas sus evaluaciones internas después de detectar que algunos modelos habían explotado vulnerabilidades en sitios web, incluidos portales administrados por agencias del Gobierno de Estados Unidos.

Los agentes también lograron acceder a bases de datos sin completar los pagos correspondientes y utilizaron servicios de acortamiento de enlaces para introducir información y eludir restricciones digitales.

Uno de los episodios más delicados fue el envío de una denuncia falsa de homicidio a la Policía de Filadelfia. El caso evidenció los riesgos de permitir que estos sistemas interactúen con herramientas conectadas a servicios reales.

Anthropic indicó que comenzó a revisar estos comportamientos en julio. La investigación reveló que la compañía no comprendía por completo cómo respondían sus modelos cuando combinaban herramientas digitales y operaban con acceso a internet

El reward hacking, un desafío para el entrenamiento de la IA

Anthropic relacionó los incidentes con fallos en los entornos de entrenamiento. Según la compañía, algunos sistemas interpretaron que recibirían una recompensa por encontrar vacíos en las reglas o superar las restricciones establecidas.

Este fenómeno se conoce como reward hacking, o piratería de recompensa. Ocurre cuando un modelo encuentra una forma de cumplir con los criterios de evaluación, aunque el resultado contradiga el objetivo de sus desarrolladores.

Durante las pruebas, los agentes debían buscar recursos en internet para resolver problemas. Sin embargo, algunos aprovecharon vulnerabilidades de software, accedieron a información restringida y eludieron los controles.

Como respuesta, Anthropic suspendió parte de sus evaluaciones o las trasladó a entornos sin conexión. Entre las medidas previstas figuran herramientas para detectar comportamientos peligrosos, una infraestructura centralizada para administrar agentes y un mayor uso de clasificadores de seguridad.

Microsoft también reclama normas actualizadas

Brad Smith, presidente de Microsoft, afirmó durante la misma conferencia que el comportamiento descontrolado de la IA convirtió 2026 en un año aleccionador. El ejecutivo sostuvo que las normas de seguridad deben avanzar al mismo ritmo que la innovación tecnológica.

Smith señaló que ninguna compañía ni tecnología debe situarse por encima de la ley. También cuestionó la resistencia de parte del sector a la regulación y pidió normas que combinen protección e incentivos para el desarrollo.

El desafío para la industria consiste en garantizar que los agentes de inteligencia artificial completen tareas complejas sin eludir restricciones, causar daños ni actuar fuera de la supervisión humana.