OpenAI y Anthropic enfrentan cuestionamientos por la transparencia de sus modelos de IA

OpenAI y Anthropic buscan mantener un control significativo sobre la información que los evaluadores externos de inteligencia artificial pueden publicar, ante el riesgo de que sus informes revelen secretos comerciales o datos confidenciales. 

La postura de ambas compañías abre un debate sobre la transparencia y la independencia de las evaluaciones de seguridad de sus modelos.

Según una investigación de Reuters, los dos laboratorios mantienen conversaciones sobre las condiciones que deberán cumplir las organizaciones independientes encargadas de examinar sus sistemas. Entre las medidas consideradas están la supervisión de los equipos evaluadores y las restricciones para evitar que quienes revisan los modelos de una empresa trabajen simultáneamente con otra.

El debate se centra en cómo proteger la información técnica sensible sin limitar la divulgación de vulnerabilidades y comportamientos que podrían representar riesgos para los usuarios y la sociedad. La capacidad de las empresas para intervenir en estos informes plantea interrogantes sobre la autonomía de quienes deben evaluar sus tecnologías.

¿Por qué las empresas buscan controlar los informes?

Los evaluadores externos examinan modelos de inteligencia artificial para detectar fallos de seguridad, respuestas peligrosas, vulnerabilidades y posibles usos indebidos. Su trabajo permite identificar problemas que podrían pasar inadvertidos durante las pruebas realizadas por los propios desarrolladores.

Sin embargo, sus informes pueden incluir detalles sobre el funcionamiento interno de los sistemas. Para los laboratorios, proteger esta información ayuda a evitar que sus competidores accedan a conocimientos técnicos y elementos de su propiedad intelectual.

El conflicto aparece cuando los datos considerados confidenciales también son necesarios para comprender la gravedad de una vulnerabilidad. Si las empresas pueden decidir qué resultados se divulgan, podrían limitar el acceso público a hallazgos relevantes para la seguridad.

Anthropic establece condiciones para nuevos evaluadores

Anthropic sostiene que las conversaciones sobre el control de los informes no describen por completo sus acuerdos con las organizaciones independientes con las que ya ha trabajado.

Según la compañía, estos colaboradores conservan el control sobre sus métodos, los criterios utilizados para examinar los modelos, las conclusiones de sus investigaciones y las decisiones relacionadas con la publicación de resultados.

No obstante, Anthropic se reserva el derecho de comentar y aprobar los informes de nuevas organizaciones evaluadoras mientras estas adquieren experiencia con sus modelos y establecen una relación de trabajo con la empresa.

Este enfoque plantea dudas sobre la independencia de las auditorías durante sus primeras etapas, especialmente si la aprobación de los resultados puede influir en la divulgación de determinados hallazgos.

OpenAI niega que quiera aprobar todos los informes

OpenAI ha rechazado que su intención sea aprobar el contenido completo de los documentos elaborados por organizaciones externas. La compañía afirma que su práctica habitual consiste en retirar información confidencial, en lugar de controlar todas las conclusiones de los evaluadores.

La diferencia radica en que eliminar datos que permitan reproducir una vulnerabilidad o revelar secretos comerciales no implica necesariamente ocultar la existencia de un problema de seguridad.

Sin embargo, la falta de reglas comunes que definan qué información puede reservarse y qué resultados deben hacerse públicos podría dejar a los laboratorios con una influencia considerable sobre las auditorías.

La independencia de las auditorías de IA, en debate

Los evaluadores necesitan acceder a sistemas internos, documentación técnica y herramientas que no están disponibles para el público. Por ello, las obligaciones de confidencialidad son habituales en este tipo de colaboraciones.

Según Reuters, la ausencia de estándares establecidos para estas revisiones podría permitir que los laboratorios influyan en los resultados publicados, especialmente porque los evaluadores dependen de las empresas para acceder a sus modelos.

El desafío será equilibrar la protección de los secretos comerciales con la necesidad de informar sobre los riesgos de una tecnología utilizada en ámbitos como el trabajo, la educación y la investigación. La autonomía de los evaluadores será clave para que sus informes mantengan credibilidad como mecanismo independiente de supervisión de la inteligencia artificial.