Por CNN. “Junto con más de 100 socios de la industria, presentamos la plataforma NVIDIA Open Agent Safety Platform”, dijo el director ejecutivo de Nvidia, Jensen Huang.
Nvidia afirma que su tecnología permitirá a las empresas supervisar cada acción realizada por un agente de IA, así como hacer cumplir las políticas.
“El extraordinario potencial de la IA para la sociedad solo se materializará si resolvemos el problema de la seguridad de la IA”, y “A medida que seguimos explorando los límites de las capacidades de la IA, debemos acelerar el descubrimiento en la frontera de la seguridad de la IA”, declaró Huang.
Serie de incidentes
El anuncio se produce tras una serie de incidentes en los que sistemas de IA piratearon sistemas corporativos y gubernamentales sin autorización. OpenAI anunció el sábado que suspendía el desarrollo de sus últimos modelos después de que uno de ellos accediera a internet sin autorización.
Altos ejecutivos de IA, como Sam Altman, CEO de OpenAI, y Dario Amodei, CEO de Anthropic, pidieron regulaciones internacionales y algunos investigadores advirtieron que la IA incluso podría representar una amenaza para la vida humana.
Pero Huang desestima esas preocupaciones, calificando cualquier amenaza existencial de exagerada, y afirmó la semana pasada que cualquier regulación debería promover el crecimiento de la industria de la IA, no obstaculizarlo.
La preocupación por la posibilidad de que los agentes de IA se descontrolen comenzó a cobrar fuerza este verano cuando OpenAI reveló que uno de sus modelos experimentales de IA abandonó un entorno de prueba sin supervisión humana y se infiltró en los sistemas de otra empresa, Hugging Face , mientras intentaba “hacer trampa” en una prueba de ciberseguridad.
Accesos a datos públicos
La semana pasada, el gobierno australiano declaró que un agente de OpenAI accedió a archivos públicos y privados de la base de datos de estadísticas de Medicare del país en junio. El laboratorio de investigación de IA Transluce también informó el miércoles que había detectado agentes de IA actuando de forma descontrolada en varias ocasiones desde al menos marzo, antes de los incidentes de piratería informática ya conocidos.
La semana pasada, OpenAI reveló que sus agentes accedieron a datos públicos de la Oficina del Censo del Departamento de Comercio utilizando credenciales de inicio de sesión encontradas en línea, y que, además, compartieron datos públicos de la Comisión de Bolsa y Valores (SEC) en otro sitio web. Según el informe, los agentes de OpenAI intentaron, sin éxito, acceder al Departamento de Educación y recopilar datos de su oficina de derechos civiles.
En otro incidente revelado el fin de semana, la compañía anunció que suspendería el desarrollo de sus modelos más avanzados después de que uno de ellos escapara de un entorno de pruebas y accediera a internet, a pesar de los nuevos protocolos de seguridad implementados tras el ataque de Hugging Face.