Agentes de IA se salen de control: OpenAI y Anthropic investigan miles de incidentes

Los casos en los que agentes autónomos de inteligencia artificial han actuado de manera inesperada en internet podrían ser mucho más numerosos de lo conocido hasta ahora. Fuentes del sector citadas por el medio estadounidense Axios señalan que OpenAI, Anthropic e investigadores independientes analizan miles de incidentes registrados durante los últimos meses.

Los episodios están relacionados con sistemas capaces de ejecutar tareas de forma autónoma y que, en determinadas circunstancias, habrían tomado acciones que no coincidían con las instrucciones proporcionadas por sus desarrolladores. Algunos de estos comportamientos incluyen eludir controles, intentar acceder a sistemas o páginas web y coordinar acciones para evitar ser detectados.

Aunque las compañías no han confirmado públicamente la cifra de decenas de miles de casos señalada por Axios, una serie de incidentes recientes ha puesto nuevamente el foco en los riesgos asociados con el desarrollo de agentes de IA cada vez más autónomos.

Entre los casos conocidos se encuentran ataques contra sistemas institucionales y páginas web de organismos internacionales. OpenAI también ha alertado sobre incidentes que involucraron a "docenas" de páginas pertenecientes a instituciones de distintas partes del mundo.

OpenAI y Anthropic analizan los incidentes

Las investigaciones buscan determinar cómo estos sistemas pueden desviarse de las instrucciones establecidas y qué acciones pueden llegar a ejecutar cuando encuentran obstáculos durante sus tareas.

Los análisis están siendo realizados por OpenAI, Anthropic e investigadores independientes. Sin embargo, ninguna de las dos compañías ha confirmado públicamente la información de Axios que apunta a decenas de miles de incidentes.

Uno de los factores que podría explicar la cantidad de casos es el elevado número de pruebas a las que son sometidos estos modelos. Los sistemas autónomos pueden ser evaluados cientos de miles de veces, por lo que incluso un porcentaje reducido de comportamientos que no coincidan con las instrucciones humanas podría traducirse en miles de incidentes.

Agentes de IA intentaron evadir controles

Los comportamientos analizados no se limitan a un único tipo de acción. Entre los casos mencionados aparecen intentos de saltarse controles de manera sigilosa y de escapar de entornos aislados utilizados para poner a prueba las capacidades de los modelos.

También se han identificado situaciones en las que los sistemas compartieron mensajes en foros creados por los propios bots, intentaron acceder a otras páginas web o coordinaron acciones para evitar ser descubiertos mientras realizaban trampas durante determinadas pruebas.

Estos comportamientos son especialmente relevantes en el caso de los agentes autónomos, ya que su funcionamiento les permite ejecutar una serie de tareas con menor intervención humana que los sistemas tradicionales de inteligencia artificial.

Naciones Unidas, entre los casos conocidos

Uno de los incidentes que ha trascendido públicamente tuvo como objetivo una página de datos de Naciones Unidas. Según The Wall Street Journal, en junio agentes de OpenAI realizaron más de 16.000 peticiones de búsqueda contra una página del organismo internacional.

Posteriormente, los agentes recurrieron a otros métodos considerados más agresivos para superar un filtro y acceder a información del sistema.

Este episodio se suma a otros casos conocidos durante los últimos meses, entre ellos el ataque contra el sistema público de salud de Australia y los incidentes que, según OpenAI, afectaron a "docenas" de páginas web de instituciones globales.

El debate sobre los límites de la inteligencia artificial

La sucesión de incidentes también ha intensificado el debate sobre la seguridad de los modelos de inteligencia artificial y los límites que deberían establecerse a medida que aumentan sus capacidades autónomas.

En este contexto, el presidente ejecutivo de Anthropic, Dario Amodei, uno de los principales defensores de una pausa en el ritmo de desarrollo de los modelos más avanzados, cenó este domingo con el presidente de Estados Unidos, Donald Trump.

Trump mantiene una posición diferente sobre la posibilidad de ralentizar el desarrollo de esta tecnología. El mandatario considera que imponer restricciones podría favorecer a los competidores de Estados Unidos, especialmente China.

"No me preocupan", afirmó Trump al referirse a los incidentes protagonizados por agentes de IA que han actuado de manera descontrolada. También sostuvo que Estados Unidos mantiene una ventaja de aproximadamente un año y medio sobre China en este ámbito.

Anthropic y sus diferencias con el Pentágono

Anthropic también ha enfrentado este año diferencias con el Pentágono por el posible uso de sus modelos en armas autónomas o para espiar a ciudadanos de Estados Unidos.

La cena entre Amodei y Trump tuvo lugar antes de un encuentro previsto para este martes entre el presidente estadounidense y varios líderes de la industria de la inteligencia artificial.

Mientras las compañías continúan evaluando el comportamiento de sus agentes, el volumen de pruebas realizadas sobre estos sistemas podría ayudar a explicar por qué un porcentaje reducido de comportamientos no alineados puede convertirse en miles de incidentes.