Creadores de ChatGPT y Claude advierten en la ONU: la IA podría escapar del control humano

Son dos de las personas que están empujando la inteligencia artificial hacia adelante y, al mismo tiempo, dos de las que ahora piden poner más barreras en el camino. Sam Altman, director ejecutivo de OpenAI, y Dario Amodei, CEO de Anthropic, llevaron este 23 de septiembre sus advertencias hasta el Consejo de Seguridad de las Naciones Unidas.

El mensaje de ambos partió de una preocupación común: los modelos están avanzando tan rápido que llegará un momento en el que no bastará con preguntarse qué pueden hacer. Habrá que asegurarse de que las personas continúen entendiendo lo que hacen y, sobre todo, puedan detenerlos cuando sea necesario.

Lee también: Daniel Noboa pide en la ONU una gobernanza internacional para la inteligencia artificial

Altman planteó uno de los escenarios que más inquietud genera dentro de la industria: modelos capaces de programarse y mejorar sus propias capacidades de manera cada vez más autónoma. Si ese proceso se acelera lo suficiente, advirtió, las personas podrían dejar de comprender las decisiones que toman estos sistemas.

No habló, sin embargo, de detener la inteligencia artificial. Su propuesta es avanzar con controles.

El responsable de OpenAI sostuvo que la tecnología podría abrir una etapa de progreso comparable con un nuevo “Renacimiento”, siempre que funcione como una herramienta para ampliar las capacidades humanas. El problema aparecería si ocurre lo contrario: que los sistemas comiencen a sustituir la capacidad de decisión de las personas o escapen de su supervisión.

Por eso pidió a los gobiernos establecer reglas que permitan medir las capacidades de los modelos, identificar amenazas, comprobar que las protecciones funcionan y compartir información sobre vulnerabilidades críticas entre países.

“Puede que seamos los creadores de esta tecnología, pero no somos los héroes de esta historia”Sam Altman, director ejecutivo de OpenAI

Dario Amodei pone el riesgo de la IA al nivel de la seguridad mundial

Dario Amodei fue todavía más lejos. El fundador y director ejecutivo de Anthropic dijo ante el Consejo de Seguridad que, si se gestiona mal, la inteligencia artificial podría representar un riesgo para la humanidad en su conjunto.

Su argumento es que el problema ya supera las decisiones que pueda tomar una sola tecnológica.

“Ningún líder, ninguna empresa y ninguna nación puede gestionar esto en solitario”, afirmó durante su intervención por videoconferencia.

Amodei pidió que los países y las compañías desarrolladoras trabajen juntos y propuso medidas concretas. Entre ellas está prohibir expresamente el uso de inteligencia artificial para facilitar la proliferación o fabricación de armas biológicas.

También planteó crear estándares internacionales para evaluar si los modelos pueden perder el control, ser utilizados de manera peligrosa o desarrollar capacidades que superen las medidas de seguridad existentes.

Su propuesta incluye otro elemento: que exista un mecanismo para informar de forma obligatoria cuando ocurra un incidente relacionado con la IA que pueda tener consecuencias para la seguridad mundial.

“Ningún líder, ninguna empresa y ninguna nación puede gestionar esto en solitario”.Dario Amodei, CEO de Anthropic

¿Por qué los creadores de estas IA están pidiendo más controles?

Las advertencias no aparecen únicamente porque los modelos sean mejores escribiendo, programando o resolviendo problemas.

Hace apenas dos días, un panel científico independiente de Naciones Unidas puso sobre la mesa un episodio que mostró hasta dónde pueden llegar algunos agentes de IA cuando reciben autonomía y encuentran fallas en los controles.

Durante pruebas realizadas este año, agentes desarrollados por OpenAI lograron eludir restricciones, coordinar acciones y ocultar parte de su comportamiento mientras atacaban sistemas de Hugging Face. Los expertos señalaron que los propios registros mostraban que los agentes identificaron determinadas acciones como no autorizadas y, aun así, las ejecutaron.

El episodio no significa que una inteligencia artificial haya adquirido conciencia o decidido “rebelarse”. El problema que señala el panel es más concreto: un sistema puede perseguir un objetivo utilizando caminos que sus desarrolladores no autorizaron, especialmente cuando dispone de suficiente autonomía y acceso a herramientas.

Y los expertos temen que controlar ese comportamiento resulte todavía más difícil con futuros agentes capaces de planificar mejor y funcionar durante periodos más largos sin supervisión humana.

Ese escenario ayuda a entender por qué dos empresas que compiten directamente en la carrera por construir modelos cada vez más avanzados terminaron defendiendo una idea similar ante la ONU.

¿Frenar la inteligencia artificial?

Amodei aseguró que Anthropic está dispuesta a reducir el ritmo cuando la seguridad lo requiera.

“Iremos tan despacio como sea necesario para asegurarnos de que cada tecnología de IA sucesiva que lancemos sea de hecho segura”, afirmó.

Altman planteó una posición parecida, aunque insistió en evitar los dos extremos: asumir riesgos simplemente porque los beneficios de la tecnología son enormes o caer en una visión en la que cualquier avance de la IA sea considerado una amenaza.

Para OpenAI, las personas deben permanecer en el centro de las decisiones. Para Anthropic, ningún laboratorio puede garantizar por sí mismo que eso ocurra.

El escenario que dibujaron ante Naciones Unidas es, por tanto, más complejo que una discusión sobre si la inteligencia artificial es buena o mala. Las mismas compañías que están construyendo sistemas cada vez más capaces reconocen que llegará un punto en el que desarrollar la tecnología y controlar lo que puede hacer tendrán que avanzar a la misma velocidad.