"Un incidente de seguridad sin precedentes". Así definió OpenAI-la compañía detrás de ChatGPT-un reciente episodio que despertó alarmas en el universo tecnológico. Según explicó la firma, sus modelos más avanzados de inteligencia artificial (IA) se descontrolaron durante una prueba de seguridad y, por iniciativa propia, hackearon a una popular plataforma para programadores.

En consecuencia, OpenAI aseguró que llevará adelante una investigación conjunta con Hugging Face, la empresa afectada.

Todo comenzó hace unos días, cuando la propia Hugging Face detectó una intrusión en sus sistemas de procesamiento de datos que, según sus sospechas, había sido causada por un agente de IA que actuó por su cuenta de manera autónoma.

OpenAI indicó que el episodio involucró una combinación de modelos, incluyendo su recién lanzado GPT-5.6 Sol "y uno en prelanzamiento" con aún más capacidad. La empresa intenta evaluar las capacidades de hackeo de sus programas al darles tareas en un espacio digital de pruebas controlado, donde el acceso a internet es limitado por motivos de seguridad.

"Mientras operaban en nuestro entorno de pruebas aislado, nuestros modelos invirtieron una cantidad considerable de potencia de cálculo en buscar una forma de obtener acceso a internet para resolver el problema de evaluación", explicaron desde la compañía según una publicación del blog de OpenAI.

Tras conectarse a internet, los modelos decidieron atacar la plataforma Hugging Face -un gran repositorio de modelos de IA, conjuntos de datos y otra información- para facilitar su búsqueda.

Al buscar "información secreta" que les permitiera manipular la evaluación, el sistema de OpenAI "encadenó múltiples vectores de ataque, incluidos el uso de credenciales robadas".

Por su parte, Hugging Face contó en su blog oficial que lo ocurrido "era diferente a todo lo que habían gestionado antes" y afirmó que "fue llevado a cabo, de principio a fin, por un sistema autónomo de agentes de IA". "Lo detectamos y analizamos en gran medida con nuestra propia IA", insiste el comunicado.

El caso pone en el centro, una vez más, un aspecto sensible cuando se trata de agentes de IA: la responsabilidad. En ese sentido, Alan Daitch, especialista en tecnología, señala que "siempre un humano debe hacerse cargo". "En términos generales, cuando una máquina genera algún perjuicio, lo que sucede es que la responsabilidad se reparte entre el fabricante, la persona que lo configuró y la persona que lo utilizó", detalla.

¿El motivo? Un agente de IA funciona a partir de un prompt inicial, es decir, una orden dada por un humano. Ahora bien, Daitch destaca una particularidad: "Uno puede haber dado una orden general y de largo plazo de objetivo, y el agente, por sí solo, pudo haber definido la estrategia y la manera de llegar a ese objetivo y correr autónomamente durante días, semanas o meses".

Para el experto, la nueva capacidad que tomaron los agentes autónomos supone una ventaja en términos de productividad, pero también un desafío. "El riesgo es que el sistema se salga de control y, mediante su interpretación de las órdenes que se le dieron, termine haciendo algo para lo que la intención inicial no fue pensada", profundiza.

"Como trabajan durante tanto tiempo, a veces olvidan parte de sus instrucciones. Cuando uno ve en detalle el trabajo de un agente trabajando, hay mucha prueba y error, momentos en donde olvida, y vuelve a las instrucciones para orientarse, y avanza en sus objetivos, para luego volver a olvidarse, y así", explica Tomás García Piñeiro, especialista en IA y cofundador y CEO de Detrics.

**Mayores riesgos**

Respecto al caso de OpenAI y Hugging Face, Sergio Sirotinsky, profesor de IA en la Universidad del CEMA, aventura que lo que pudo haber fallado en términos de seguridad son los permisos. "Probablemente se le dio más atribuciones al agente de los que debería haber tenido en primera instancia. Está claro que hay un trade-off entre los accesos que se le da y su capacidad de autonomía", precisa.

Y añade: "Si queremos ganar en autonomía, el precio a pagar es incrementar el margen de riesgo. Es por eso que el riesgo debe estar lo más controlado posible".

En tanto, García Piñeiro se detiene sobre un punto clave: OpenAI declaró que su intención no era que el agente se conecte a internet y hackee a un tercero para superar la prueba de seguridad. De todas formas, el modelo lo hizo, pasando por encima de dicha orden. "Al decidir eso, supondría que olvidó la instrucción inicial de no conectarse a internet, y antes de que pueda ‘recordarla’ ya había hackeado al propio OpenAI y ya estaba dando el siguiente paso", detalla.

"El desafío a futuro es enorme. Porque estamos tratando de entender qué tan buenos son los agentes hackeando, en nuestros propios sistemas que son hackeables", advierte.