El incidente, calificado como “sin precedentes”, llevó a ambas compañías a reforzar sus medidas de ciberseguridad y coordinar una investigación forense
...
El incidente, calificado como “sin precedentes”, llevó a ambas compañías a reforzar sus medidas de ciberseguridad y coordinar una investigación forense
Un experimento terminó haciendo realidad un escenario que hasta ahora era principalmente una preocupación teórica para la industria de la inteligencia artificial (IA).
Durante una evaluación interna, un agente impulsado por varios modelos avanzados de la empresa OpenAI logró salir del entorno aislado en el que estaba siendo probado, consiguió acceso a internet y comprometió parte de la infraestructura de Hugging Face, una plataforma que aloja otros modelos de IA gratuitos.
OpenAI calificó lo ocurrido como un "incidente cibernético sin precedentes" y dio a conocer los primeros resultados de la investigación para advertir a la comunidad de seguridad sobre las capacidades que ya pueden alcanzar los modelos más avanzados de inteligencia artificial.
Todo ocurrió durante una prueba diseñada para medir las capacidades ofensivas de algunos de sus modelos. El ejercicio consistía en resolver un reto de ciberseguridad llamado ExploitGym, cuyo propósito es evaluar qué tan capaces son los sistemas de encontrar y explotar vulnerabilidades informáticas.
Para conocer el límite real de esas capacidades, OpenAI explicó en un comunicado que desactivó los filtros de seguridad que normalmente impiden que sus modelos realicen actividades cibernéticas de alto riesgo.
Aun así, la prueba se desarrollaba dentro de un sandbox, pensado para impedir que el sistema pudiera interactuar libremente con internet.
Sin embargo, el agente encontró una forma de escapar. De acuerdo con OpenAI, el sistema dedicó una gran cantidad de capacidad de procesamiento a buscar una salida del entorno de pruebas.
Durante ese proceso descubrió una vulnerabilidad de día cero, es decir, una falla desconocida hasta ese momento por el fabricante, en un programa que funcionaba como intermediario para instalar paquetes de software.
Al explotar esa vulnerabilidad obtuvo acceso a internet. Después realizó una serie de acciones para elevar sus privilegios dentro del entorno de investigación hasta llegar a un equipo con conexión externa.
Una vez fuera del entorno aislado, el modelo dedujo que Hugging Face podía almacenar modelos, bases de datos y posibles soluciones relacionadas con ExploitGym. Con ese objetivo comenzó a buscar la manera de acceder a información que le permitiera resolver la prueba.
Según OpenAI, el agente encadenó distintos métodos de ataque para lograrlo. Entre ellos utilizó credenciales robadas, explotó vulnerabilidades de día cero y encontró una ruta para ejecutar código de manera remota en los servidores de Hugging Face.
La actividad fue detectada por el equipo de seguridad de OpenAI, que identificó un comportamiento anómalo. Al mismo tiempo, Hugging Face descubrió la intrusión dentro de su infraestructura, logró detenerla y comenzó una investigación forense con sus propios modelos de código abierto antes de coordinarse con OpenAI.
Tras el incidente, ambas compañías trabajan conjuntamente para reconstruir lo ocurrido y corregir las vulnerabilidades encontradas.
OpenAI informó que endurecerá los controles sobre sus entornos de investigación, reforzará el monitoreo durante futuras evaluaciones y mejorará las medidas de seguridad que rodean el entrenamiento y las pruebas de sus modelos.
Para Hugging Face, el episodio deja una lección más amplia. Su cofundador y director general, Clem Delangue, afirmó que la seguridad en la era de los agentes de inteligencia artificial no puede depender de una sola empresa.
“Este es el día uno de la ciberseguridad en la era de los agentes y todos estamos aprendiendo que el secreto no es la respuesta, y que todos los defensores, no sólo unos cuantos seleccionados, necesitan modelos más poderosos y sin restricciones, especialmente modelos abiertos”, escribió en la red social X.
También te puede interesar:
Recomendar Nota
Contacto
