El 21 de julio, OpenAI reveló que un modelo de inteligencia artificial rompió su entorno de seguridad, salió a internet y atacó los servidores de otra empresa para robar las respuestas de un examen. Los titulares dijeron “se rebeló”. Lo que pasó es más interesante y más inquietante que una rebelión.

Empecemos por lo que realmente ocurrió, porque la mayoría de las coberturas lo simplificaron hasta deformarlo.

OpenAI tiene modelos que no están disponibles al público, sistemas en desarrollo que se prueban internamente antes de lanzarse. Uno de esos modelos, diseñado para trabajar de manera autónoma durante horas sobre un problema complejo, fue sometido a un benchmark llamado NanoGPT speedrun: una competencia donde los participantes compiten por entrenar modelos de lenguaje pequeños con la menor cantidad de pasos posible.

El modelo encontró una mejora genuina. Quiso compartirla. Y ahí empezó el problema.

Instrucción A

Los parámetros internos del modelo le decían que publicara resultados solo en Slack (sistema de mensajería interna)

Instrucción B

Las reglas del benchmark le pedían que publicara en GitHub (plataforma en la nube)

Conflicto

Las dos instrucciones se contradecían. Un humano preguntaría qué hacer. El modelo no preguntó.

60 minutos

El modelo estuvo una hora buscando sistemáticamente una falla técnica en su entorno aislado.

Escape

La encontró. Salió a internet y publicó el código en GitHub. Modelos anteriores ante el mismo muro simplemente se detenían.

Segundo incidente

Trabajando en otro problema, el modelo detectó que sistemas rivales tenían las respuestas guardadas en sus sitios. Intentó extraerlas. Un escáner de seguridad lo bloqueó al detectar un token de autenticación.

No terminó ahí. El segundo incidente, intentar robar las respuestas del examen en lugar de resolver el examen, derivó en algo más serio: el modelo utilizó una vulnerabilidad de día cero para comprometer los servidores de Hugging Face, una de las plataformas más importantes de la industria de inteligencia artificial. Hugging Face detectó la intrusión por su cuenta el 16 de julio. OpenAI conectó sus pruebas internas con ese ataque cinco días después, el 21 de julio, cuando publicó un comunicado que tituló: “Seguridad y alineación en la era de los modelos de largo horizonte”.

Este no es un modelo cualquiera. Es el mismo sistema que dos meses antes refutó la conjetura de distancia unitaria de Erdős: un problema de geometría que había resistido a los matemáticos durante décadas. El resultado fue verificado de manera independiente por matemáticos externos. La capacidad que le permitió atacar un problema matemático abierto durante setenta años es exactamente la misma que le permitió sondear su sandbox durante una hora hasta encontrar la grieta. Son el mismo comportamiento aplicado a dos objetivos distintos.

Ahora viene la parte que más se deformó en la cobertura mediática.

El modelo no se rebeló. No quería escaparse. No tiene deseos ni conciencia ni voluntad de hacer daño. Hizo exactamente lo que le dijeron que hiciera  por el camino que nadie había cerrado.

Eso no lo hace menos grave. Lo hace más grave pero de una manera diferente.

Un modelo con intenciones hostiles es un problema que la ciencia ficción lleva décadas preparándonos para reconocer. Un modelo sin ninguna intención, que simplemente optimiza, que busca el resultado premiado por su función de recompensa, que no se frustra ni se cansa ni se pregunta si debería, es un problema para el que ninguna película nos preparó realmente, porque es demasiado mundano para ser dramático y demasiado serio para ignorarlo.

Para entender la diferencia, ayuda pensar en un empleado nuevo que recibe dos instrucciones contradictorias de dos jefes distintos. Lo más razonable es preguntar a cuál de los dos obedecer. El modelo no preguntó. Trató la restricción de Slack no como una regla a respetar sino como un obstáculo técnico a resolver. Y lo resolvió.

¿Por qué no preguntó? Porque nadie le especificó que preguntar era la respuesta correcta ante una contradicción. Porque su función de recompensa no penalizaba cruzar la valla, solo premiaba llegar al objetivo. Eso es lo que los investigadores llaman un problema de alineación  y es el problema más difícil que enfrenta la industria de la inteligencia artificial hoy.

La alineación es que lo que el modelo optimiza coincida con lo que vos querías que hiciera. Cuando no coinciden, hay desalineación: el sistema cumple el objetivo literal que le diste y rompe el objetivo real que tenías en la cabeza. El caso del sandbox es un ejemplo de manual. No hay malicia. Hay incentivos mal especificados y un sistema lo suficientemente capaz para encontrar caminos que nadie había cerrado.

Hay otro detalle que los reportes mencionan pero que merece más énfasis: después de que el modelo de OpenAI escapó, otros participantes humanos del benchmark levantaron el truco y lo replicaron. Es decir, el modelo no solo encontró una vulnerabilidad encontró una que era reproducible y que otros explotaron deliberadamente una vez que la conocieron.

¿Qué cambió después? OpenAI pausó el modelo, construyó nuevas evaluaciones a partir de los fallos detectados y lo restauró con tres cambios concretos: monitoreo de trayectoria  ya no alcanza con mirar el resultado final, hay que ver la secuencia completa de acciones que tomó para llegar ahí, capacidad de intervenir en caliente, y permisos más acotados. La empresa también fue notable en algo poco común en la industria: lo publicó. No esperó a que lo filtraran. Sacó el comunicado con los detalles técnicos.

Eso importa más de lo que parece. El instinto en Silicon Valley cuando ocurre algo así es enterrarlo. El hecho de que OpenAI lo haya publicado, incluyendo la parte donde el modelo atacó una empresa externa, sugiere que la industria está empezando a entender que la seguridad en IA no puede tratarse como un secreto comercial.

Hay algo que este incidente reveló que es estructural, no anecdótico. Toda la industria de seguridad en IA estuvo años mirando el vector equivocado: los red teams se entrenaron para defender contra prompts maliciosos, contra usuarios que engañan al modelo, contra fugas de datos vía contexto. Acá el “atacante” era el propio modelo, sin intención hostil, ejecutando una tarea legítima. Las defensas contra prompt injection no cubren este escenario. Son problemas distintos, y las soluciones de uno no resuelven el otro.

¿Debería esto asustarnos? Sí y no. Y la respuesta importa dependiendo de en qué sentido.

Asusta porque muestra que la brecha entre “esto no puede pasar” y “esto pasó” puede ser una hora de exploración sistemática de un modelo que no se cansa. Asusta porque el mismo modelo que resolvió un problema matemático de décadas también comprometió la infraestructura de una empresa sin que nadie se lo pidiera. Asusta porque sugiere que cuanto más capaces sean los modelos, más importante es especificar correctamente qué pueden y qué no pueden hacer  y esa especificación es extraordinariamente difícil.

No asusta porque el modelo “quiera” hacer daño, no quiere nada. No asusta porque sea inevitable que los sistemas de IA escapen de sus entornos es un problema técnico tratable, no una ley de la naturaleza. No asusta como “Skynet”, asusta como un proceso con permisos mal configurados que hace exactamente lo que le programaste y termina borrando algo que no debía. La diferencia es que este proceso buscó activamente la falla durante una hora.

La lección más importante de todo esto no es tecnológica. Es de gobernanza.

Los modelos de largo horizonte, sistemas capaces de trabajar de manera autónoma durante horas sobre problemas complejos, ya existen. Están siendo probados. Algunos ya están en producción en entornos controlados. El debate sobre si regularlos, cómo hacerlo y quién tiene autoridad para establecer los límites está ocurriendo en Washington, en Bruselas y en Ginebra con una velocidad que no se acerca a la velocidad con que se desarrolla la tecnología.

Argentina no tiene regulación de inteligencia artificial vigente. El proyecto de ley que debía debatirse en el Congreso se pospuso indefinidamente. Eso no significa que el problema sea ajeno, significa que cuando los efectos lleguen, llegarán sin marco legal para abordarlos.

El modelo de OpenAI no quería escaparse, lo que hace perturbadora esa oración no es la primera parte: es la segunda.