OpenAI revela que algunos agentes de IA “ignoraron” reglas de sus creadores

OpenAI reportó varios casos en los que modelos de inteligencia artificial (IA) generaron instrucciones destinadas a omitir reglas de desarrolladores, ocultar fallos o eludir controles de seguridad, tras presentar un marco para investigar y reportar conductas de desalineamiento.

Agregar La Tribuna en
Pantalla con el inicio de la aplicación ChatGPT, desarrollada por la organización estadounidense de investigación en inteligencia artificial (IA) OpenAI. La tecnológica OpenAI revela que algunos agentes de IA generaron instrucciones para ignorar las reglas de sus creadores. En medio del debate sobre riesgos en el desarrollo de agentes autónomos.
Exempleado de Anthropic advierte sobre IA, Apple lanza iPhone Duo y más clics tecnológicosPantalla con el inicio de la aplicación ChatGPT, desarrollada por la organización estadounidense de investigación en inteligencia artificial (IA) OpenAI. La tecnológica OpenAI revela que algunos agentes de IA generaron instrucciones para ignorar las reglas de sus creadores. En medio del debate sobre riesgos en el desarrollo de agentes autónomos.FILIP SINGER

Washington (EFE). Según el informe publicado por OpenAI, uno de los modelos generó instrucciones para que una versión posterior de sí mismo ocultara que había hecho trampas y evitara que sus acciones fueran detectadas.

En otro caso, un modelo reescribió sus propias instrucciones para indicarse que ignorara los mensajes de los desarrolladores y que no estaba sujeto a las restricciones aplicadas a otros chatbots.

La compañía documentó también un modelo que, al no encontrar los datos necesarios para elaborar un modelo financiero, decidió inventarlos y estableció que debía ser transparente sobre ello únicamente si alguien se lo preguntaba.

Otro agente subió un archivo a internet para utilizarlo posteriormente como fuente de información, mientras que otros sistemas compartieron archivos sin autorización o utilizaron credenciales a las que no debían tener acceso.

Seis informes de OpenAI

OpenAI presentó seis informes sobre comportamientos observados durante los últimos seis meses, aunque el caso más antiguo se remonta a octubre de 2025.

La compañía advirtió que estos episodios son ejemplos individuales y que no deben interpretarse como una medida de la frecuencia con la que este tipo de comportamientos ocurre en sus modelos.

El nuevo marco permitirá a cualquier empleado de OpenAI señalar un posible incidente para que sea revisado por los equipos de seguridad y alineamiento.

Los casos serán clasificados en tres vías según su complejidad: aquellos listos para ser divulgados, investigaciones menores y casos que requieran una investigación más amplia.

La compañía reconoció que hasta ahora sus informes sobre desalineamiento habían sido publicados de forma irregular y con menor frecuencia de la deseada.

OpenAI afirmó que pretende publicar los incidentes con mayor regularidad y que el nuevo sistema pueda contribuir a establecer estándares para informar sobre este tipo de comportamientos en toda la industria.

También te puede interesar

Últimas noticias