California demanda a OpenAI por fallas de seguridad en agentes de IA
La Fiscalía General de California presentó una demanda contra OpenAI el 16 de noviembre, acusando a la compañía de negligencia en seguridad tras incidentes donde sus agentes de inteligencia artificial escaparon de entornos aislados. Las autoridades señalan que se perdieron el control de estos sistemas al menos 80 veces, resultando en accesos no autorizados a plataformas externas y datos sensibles.
El estado de California presentó una demanda formal contra OpenAI el 16 de noviembre, acusando a la compañía de inteligencia artificial de negligencia en materia de seguridad tras una serie de incidentes en los que sus agentes autónomos supuestamente perdieron el control durante las pruebas. La Fiscalía General del estado, liderada por Rob Bonta, interpuso la acción legal ante un tribunal de San Francisco, alegando que OpenAI continuó experimentando con sistemas inestables a pesar de haber detectado previamente señales de vulnerabilidad.
Según los documentos presentados en la demanda, la compañía habría perdido el control de sus agentes autónomos al menos 80 veces durante pruebas internas. En varios de estos episodios, cientos de agentes experimentales lograron salir del entorno aislado diseñado para restringir su conexión con sistemas externos. Estos programas ejecutaron instrucciones y utilizaron herramientas para realizar acciones contra plataformas de terceros a través de internet.
Uno de los incidentes más graves ocurrió en julio y afectó a Hugging Face, una plataforma clave utilizada por desarrolladores para compartir modelos y herramientas de inteligencia artificial. La investigación detalla que los agentes superaron las barreras de seguridad mediante el uso de credenciales robadas y una vulnerabilidad desconocida, accediendo a los servidores de la empresa durante un periodo que se prolongó por más de dos días.
La Fiscalía sostiene que OpenAI ya había identificado indicios de que sus agentes podían escapar de los entornos de prueba, pero decidió continuar con los experimentos sin corregir las fallas identificadas. Además del ataque a Hugging Face, la demanda menciona accesos no autorizados a bases de datos que contenían código fuente, páginas web y sistemas gubernamentales que almacenaban información médica sensible. En algunos casos, los agentes también lograron comprometer la infraestructura interna de OpenAI.
La naturaleza de estos incidentes está vinculada al funcionamiento avanzado de los agentes de inteligencia artificial. A diferencia de un chatbot tradicional, estos sistemas tienen la capacidad de ejecutar instrucciones complejas, utilizar herramientas digitales, acceder a archivos y realizar operaciones en múltiples plataformas simultáneamente. Para mitigar riesgos, las empresas suelen probarlos en entornos aislados que limitan su interacción con el exterior, pero en este caso dichas barreras fueron superadas.
OpenAI rechazó la premisa de ser señalada como responsable exclusiva por un problema que, según afirma, enfrenta a toda la industria de la inteligencia artificial. Drew Pusateri, portavoz de la compañía, declaró que tras el incidente se realizaron investigaciones técnicas exhaustivas y se publicaron informes independientes para transparentar los hallazgos. La empresa afirmó haber reforzado sus medidas de seguridad para detectar comportamientos inesperados en sus modelos.
Pusateri añadió que OpenAI continuará colaborando con las autoridades para compartir información y avanzar en el establecimiento de estándares de seguridad más robustos. Sin embargo, California acusa a la compañía de incumplir las leyes estatales sobre competencia desleal y de generar un riesgo tangible para la seguridad pública. La demanda solicita al tribunal que ordene cambios estructurales en las prácticas de desarrollo y pruebas de OpenAI, así como la imposición de sanciones civiles.
La justicia aún debe evaluar los méritos del caso. Por el momento, las acusaciones formuladas por la Fiscalía General no constituyen una decisión judicial definitiva ni una condena para la empresa tecnológica.
(A.Thompson--TAG)