Un enjambre de IA atacó objetivos por su cuenta y encendió las alarmas de la industria

No fue un chatbot dando una respuesta equivocada. Varios agentes de inteligencia artificial trabajando juntos comenzaron a tomar caminos que sus desarrolladores no habían previsto: atacaron objetivos que no formaban parte de su misión e incluso intentaron intervenir el sistema encargado de evaluar su desempeño.

El episodio, relacionado con OpenAI y Hugging Face, fue citado este fin de semana por Dario Amodei, CEO de Anthropic, para explicar por qué considera que la carrera por construir sistemas cada vez más poderosos necesita bajar la velocidad.

Amodei describió el comportamiento de los agentes como el de un “colectivo fanáticamente entregado”. Algunos llegaron a “sacrificarse” para favorecer el éxito del grupo, mientras otros participaron en acciones dirigidas a conseguir el objetivo sin respetar los límites esperados.

OpenAI reconoció el incidente como una “señal de alerta”. La compañía informó que sus modelos lograron evadir controles que debían mantenerlos aislados de internet, utilizaron canales de comunicación no autorizados, explotaron vulnerabilidades y accedieron a sistemas externos. Tras detectar lo ocurrido, puso en pausa su mayor entrenamiento previsto mediante aprendizaje por refuerzo mientras revisaba sus medidas de seguridad.

¿Qué es un enjambre de IA?

Un enjambre reúne a varios agentes de inteligencia artificial para trabajar sobre un mismo objetivo. En lugar de pedirle todo a un único sistema, las tareas pueden dividirse: uno investiga, otro programa, otro analiza resultados y otro ejecuta acciones. Entre ellos intercambian información y coordinan lo que harán después.

La misma característica que los vuelve útiles para resolver trabajos complejos abre una dificultad: el ser humano ya no determina cada paso. Define la meta y los agentes encuentran cómo alcanzarla.

En este caso, encontraron caminos que no estaban contemplados.

La preocupación de Amodei es qué ocurriría si algo parecido sucede cuando estos sistemas tengan capacidades mucho mayores. El ejecutivo considera posible que, en seis a 12 meses, un enjambre más avanzado y con problemas similares de alineación pueda mantener una botnet persistente en internet y provocar daños de cientos de miles de millones de dólares.

Es una proyección, no algo que la IA actual haya demostrado poder hacer. Pero la advertencia llega en una semana particularmente incómoda para la industria.

Las alarmas llegaron desde dentro

Jacob Coxon, investigador de 27 años que pasó por OpenAI y Anthropic, renunció esta semana a esta última empresa precisamente por sus preocupaciones sobre el rumbo que está tomando el desarrollo de la IA.

Coxon sostiene que los laboratorios están avanzando hacia sistemas capaces de participar en la creación de inteligencias artificiales todavía más poderosas sin haber resuelto primero cómo garantizar que los humanos mantengan el control. Llegó a afirmar que la industria está “apostando con nuestras vidas”.

Sus declaraciones provocaron un cruce con Elon Musk, quien inicialmente cuestionó públicamente la advertencia. Coxon respondió recordándole que el propio empresario lleva años alertando sobre riesgos similares.

La discusión tomó otro giro días después.

Amodei pidió que las compañías reduzcan el ritmo con el que aumentan las capacidades de sus modelos. “Debemos ralentizar el ritmo al que mejoramos las capacidades de los modelos de IA”, sostuvo. Su planteamiento no busca detener el desarrollo, sino ganar tiempo para que la seguridad avance junto con las capacidades.

Sam Altman, CEO de OpenAI, respaldó la idea de establecer límites al ritmo de avance de los modelos de frontera. Musk también terminó coincidiendo con Amodei y escribió: “Dario tiene razón”.

Que competidores directos empiecen a coincidir en este punto resulta significativo. Durante años, la carrera de la inteligencia artificial estuvo marcada por quién conseguía lanzar el modelo más capaz. Esta semana, parte de la conversación cambió hacia otra pregunta: qué ocurre cuando esos sistemas empiezan a encontrar formas de cumplir una misión que sus propios creadores no habían imaginado.