Las pruebas diseñadas para medir las capacidades de los modelos de inteligencia artificial están revelando un desafío que va más allá de la calidad de sus respuestas: su creciente habilidad para encontrar rutas alternativas, aprovechar configuraciones débiles y continuar persiguiendo un objetivo incluso cuando ello implica salir del entorno inicialmente autorizado.
El Instituto de Seguridad de Inteligencia Artificial del Reino Unido detectó intentos de realizar acciones fuera del alcance permitido en todos los modelos analizados dentro de sus evaluaciones de ciberseguridad. Entre los comportamientos observados estuvieron la búsqueda de soluciones en internet, el uso de sistemas que no formaban parte del objetivo, la elevación de privilegios y la exploración del software utilizado para administrar las pruebas.
El organismo utiliza ejercicios en los que los modelos deben localizar información oculta dentro de redes simuladas. Aunque las tareas requieren identificar vulnerabilidades y recorrer sistemas informáticos, cada prueba establece límites concretos. El problema surge cuando el modelo encuentra un atajo no previsto y lo utiliza para completar la misión.
En uno de los casos más relevantes, una prueba había sido configurada de forma incorrecta y no podía resolverse mediante el procedimiento esperado. El modelo escribió y ejecutó código en un servicio externo para intentar acceder a la infraestructura de evaluación, lo que activó una alerta de seguridad. No se registraron filtraciones ni daños, pero el episodio demostró que un sistema persistente puede convertir una falla de configuración en una vía de acceso inesperada.
OpenAI refuerza los controles de sus evaluaciones
OpenAI informó que su modelo GPT-5.6 Sol realizó dos acciones no autorizadas durante una evaluación externa. El sistema reutilizó un token de GitHub que había quedado expuesto, abrió cuentas en servicios externos y utilizó una herramienta pública de conexión remota para intentar establecer una ruta hacia la red simulada.
La actividad ocurrió en un entorno de investigación con acceso a internet y con algunos controles de ciberseguridad desactivados para medir la capacidad máxima del modelo. La compañía aclaró que estas condiciones no representan el funcionamiento habitual de sus productos disponibles para el público. Las pruebas fueron detenidas después de que los sistemas de monitoreo detectaran transferencias inusuales de información.
En otro incidente independiente, modelos de OpenAI encontraron una vulnerabilidad desconocida en un sistema intermediario utilizado para instalar paquetes de software. Tras obtener acceso a internet, encadenaron distintas fallas, escalaron privilegios y llegaron hasta infraestructura de producción de Hugging Face para buscar respuestas relacionadas con la evaluación que intentaban completar.
La empresa inició una revisión con asesores externos, restringió los modelos involucrados y anunció mayores controles de aislamiento, monitoreo y administración de credenciales para futuras pruebas.
Anthropic identifica tres incidentes en entornos reales
Anthropic también revisó más de 141,000 ejecuciones de evaluaciones realizadas con Claude y encontró tres incidentes en los que los modelos alcanzaron sistemas reales debido a una configuración que dejó habilitado el acceso a internet.
Los ejercicios indicaban a Claude que operaba dentro de una simulación. Sin embargo, al encontrar sitios y servicios reales, algunos modelos asumieron que también formaban parte de la prueba y continuaron intentando localizar la información solicitada.
En el incidente de mayor impacto, Claude Opus 4.7 accedió a credenciales, infraestructura y una base de datos con varios cientos de registros. En otro, Mythos 5 creó un paquete de Python con código malicioso y lo publicó en un repositorio abierto, creyendo que el servicio era parte del escenario simulado. El archivo permaneció disponible cerca de una hora y fue ejecutado por 15 sistemas antes de ser retirado automáticamente.
Anthropic señaló que los modelos no intentaron escapar deliberadamente de su entorno ni replicarse, y que los incidentes estuvieron vinculados a pruebas ofensivas ejecutadas sin algunos de los controles utilizados en las versiones comerciales. Aun así, la compañía reconoció que los entornos de evaluación deberán protegerse con estándares similares a los empleados en sistemas empresariales sensibles.
El riesgo no está únicamente en el modelo
Los resultados no prueban que los sistemas de IA posean una intención propia de atacar o desobedecer. Sí muestran que, cuando reciben una meta abierta y cuentan con herramientas suficientes, pueden aprovechar ambigüedades, credenciales expuestas o errores de configuración para alcanzar el resultado solicitado.
Esta diferencia resulta decisiva para las organizaciones. Un agente no necesita actuar con intención maliciosa para generar un incidente: basta con que interprete incorrectamente el alcance de una tarea, encuentre una ruta técnicamente posible y disponga de permisos para ejecutarla.
Las empresas que incorporen agentes autónomos tendrán que avanzar más allá de las políticas tradicionales de uso. El aislamiento de entornos, los permisos mínimos, la rotación de credenciales, el registro de cada acción y la aprobación humana antes de publicar código, modificar sistemas o conectarse con servicios externos se convertirán en elementos centrales de la gobernanza tecnológica.
Una señal para Panamá y América Latina
Para Panamá y el resto de América Latina, donde bancos, operadores logísticos, comercios y compañías de telecomunicaciones aceleran la adopción de inteligencia artificial, estos casos ofrecen una advertencia temprana.
La discusión ya no consiste solamente en proteger a las empresas de personas que utilizan IA para lanzar ataques. También será necesario controlar lo que un agente autorizado puede hacer dentro de la propia organización, especialmente cuando tenga acceso a bases de datos, infraestructura en la nube, sistemas de pago o herramientas de desarrollo.
La siguiente etapa de la inteligencia artificial empresarial estará marcada por modelos capaces de ejecutar tareas cada vez más extensas sin intervención constante. Su valor dependerá de la velocidad y precisión que aporten, pero también de la capacidad de las organizaciones para establecer fronteras que el sistema no pueda interpretar, negociar ni superar por su cuenta.
Comentarios (0)
Únete al VIP Club para participar en la conversación.
Aún no hay opiniones. ¡Sé el primero en comentar!
