OpenAI redujo temporalmente el ritmo de desarrollo de sus sistemas más avanzados luego de dos señales de riesgo: el incidente de evaluación con Hugging Face y los indicios de que Astra, uno de sus próximos modelos, podría alcanzar el nivel de “capacidad crítica de ciberseguridad” definido en su Marco de Preparación.
Según la empresa, las mayores capacidades también elevan los peligros durante el entrenamiento y las pruebas internas. Por ello, suspendió durante dos semanas el aprendizaje por refuerzo de modelos destinados a un eventual despliegue. Su mayor entrenamiento de frontera continúa detenido, mientras realiza ensayos menores para estudiar comportamientos, validar defensas y reunir más evidencias de alineación.
Tras el incidente, OpenAI pausó las ejecuciones capaces de usar herramientas, escribir código o conectarse a internet. Luego habilitó rutas restringidas e incorporó mayor aislamiento de cargas de trabajo y redes, menos privilegios y pruebas ante ataques simulados. Parte de los entrenamientos y evaluaciones de Astra seguirá suspendida hasta cumplir estas exigencias.
La compañía también amplió la supervisión del razonamiento y de las operaciones con herramientas. El sistema busca accesos indebidos, robo de datos, acciones destructivas o intentos de evadir controles. Ante una probable violación crítica, emite una alerta. Los equipos responsables deben detener la actividad si no pueden descartar un falso positivo dentro de 30 minutos.
El monitoreo es obligatorio en entrenamientos y evaluaciones con herramientas para modelos de capacidad Sol o superior. Desde el 7 de agosto también alcanza a Astra cuando utiliza herramientas. OpenAI calcula que los controles consumen cerca del 20% de la capacidad informática de la inferencia vigilada.
La empresa reforzará el entrenamiento contra el engaño, el acceso no autorizado y la manipulación de recompensas: obtener buenas evaluaciones sin cumplir el objetivo real. También actualizará su Marco de Preparación y compartirá aprendizajes con organizaciones externas. Para OpenAI, la capacidad de comprender, alinear y proteger estos sistemas debe avanzar por delante de los propios modelos.