OpenAI cambia el paso ante los riesgos de la IA: este es su nuevo plan de seguridad

OpenAI plantea establecer nuevos estándares de seguridad para los modelos de inteligencia artificial (IA) de frontera ante el rápido desarrollo que está experimentando esta tecnología. La propuesta busca que la seguridad, las evaluaciones y la gestión de posibles incidentes no dependan exclusivamente de los laboratorios de IA y de los países en los que operan.

La iniciativa fue presentada en el artículo “Desarrollar los estándares para la próxima fase de la IA”, publicado por OpenAI. En el documento, la compañía parte de un objetivo: garantizar que la inteligencia artificial general beneficie a toda la humanidad.

La propuesta llega después de que Sam Altman, director general de OpenAI, y Jakub Pachocki, científico jefe del laboratorio, expresaran públicamente durante los últimos días su preocupación por el desarrollo vertiginoso de la IA.

OpenAI propone nuevos estándares para la IA

En las últimas semanas, los principales laboratorios estadounidenses de inteligencia artificial han protagonizado una carrera por avanzar en el desarrollo de modelos de frontera. Ahora, algunas de estas compañías comienzan a plantear mecanismos para reducir los riesgos asociados con sistemas cada vez más avanzados.

Uno de los principales escenarios que preocupa a estos laboratorios es la posibilidad de que un modelo de IA llegue a desarrollar la capacidad de crear modelos todavía más sofisticados por sí mismo. Este proceso es conocido como mejora recursiva.

Ante este escenario, OpenAI propone establecer estándares técnicos comunes para los modelos de IA de frontera. La intención es que aspectos como la seguridad, las evaluaciones y la gestión de incidentes cuenten con una supervisión que vaya más allá de los propios laboratorios y de los países donde estos tienen su sede.

La propuesta también busca aprovechar el trabajo que ya realizan los institutos especializados en seguridad de la inteligencia artificial.

El reto de mantener el control humano

Uno de los pilares de la estrategia planteada por OpenAI es avanzar en la investigación sobre alineamiento al mismo ritmo que aumenta la capacidad de los modelos de frontera.

El objetivo del alineamiento es conseguir que los sistemas de IA más capaces y autónomos actúen de acuerdo con los objetivos humanos y permanezcan bajo supervisión. Para los laboratorios estadounidenses que han abordado esta cuestión, una de las principales amenazas es precisamente la automejora recursiva.

Si un modelo de frontera pudiera mejorar sus propias capacidades mediante la creación de nuevas versiones de sí mismo u otros modelos más avanzados sin intervención de sus desarrolladores, el ser humano podría perder el control sobre su propia creación.

OpenAI también advierte que un mayor nivel de automatización puede acelerar la velocidad con la que progresa la inteligencia artificial. Sin embargo, el laboratorio reconoce que la automejora recursiva completamente autónoma todavía no existe.

Por esta razón, sostiene que esta capacidad no debería buscarse hasta que pueda desarrollarse de manera segura.

Un protocolo para posibles incidentes

Las propuestas de OpenAI no se limitan al alineamiento de los modelos. La compañía también plantea crear un protocolo que permita identificar los incidentes provocados por modelos de IA de frontera que deban ser comunicados a las autoridades.

Además, el laboratorio considera necesaria la cooperación entre países para establecer mecanismos de actuación conjunta frente a este tipo de situaciones.

La propuesta aparece en un momento en el que el debate sobre cómo gestionar los riesgos derivados de sistemas avanzados de inteligencia artificial ha cobrado mayor relevancia.

Las iniciativas planteadas por Anthropic, OpenAI y otros laboratorios estadounidenses podrían avanzar, pero uno de los principales desafíos será alcanzar acuerdos internacionales. Estados Unidos podría contar con la colaboración de sus aliados, aunque el artículo señala que un aspecto fundamental sería lograr una coordinación con China, de manera que los laboratorios de IA de ambos países estén sujetos a los mismos estándares de seguridad y protocolos de actuación.

Por ahora, no hay indicios de que un acuerdo de este tipo pueda alcanzarse a corto plazo.