OpenAI ha anunciado que no lanzará su último modelo de IA debido a problemas de seguridad.
Según Saachi Jain, jefa de sistemas de seguridad de OpenAI, el sistema GPT-6.1 Astra, que realiza tareas como navegar por internet y usar aplicaciones de forma autónoma, «no cumplió del todo con los estándares» de la empresa.
El creador de ChatGPT también publicó una actualización sobre incidentes ocurridos en junio, pero que no se hicieron públicos hasta la semana pasada, en los que sus modelos accedieron a sitios web y sistemas del gobierno australiano sin autorización.
Esto se produce en un momento en que las brechas de seguridad en los modelos de las principales empresas de IA intensifican el debate sobre los riesgos que plantea esta tecnología, y Anthropic subraya su preocupación de que la IA pueda amenazar a la humanidad mientras se prepara para salir a bolsa.
Reuters informó el martes que el desarrollador de IA, creador de Claude, rival de ChatGPT, planea advertir a los posibles inversores en su Oferta Pública Inicial (OPI) que la tecnología puede plantear «riesgos catastróficos o existenciales para la humanidad», según un prospecto que ha visto .
A pesar de las severas advertencias, se espera que la empresa se convierta en una de las más valiosas del mundo cuando salga a bolsa.
«Me parece una locura que las empresas sigan impulsando el desarrollo de estas capacidades cuando, como hemos visto en los últimos meses con los incidentes ocurridos, están lejos de ser lo suficientemente seguras y controladas», dijo Jess Whittlestone, asesora principal en políticas de IA del centro de estudios Centre for Long-Term Resilience.
Los principales líderes en inteligencia artificial, entre ellos Dario Amodei, director de Anthropic, y Sam Altman, de OpenAI, han instado a la industria a ralentizar el ritmo de desarrollo .
Cuestiones de seguridad cada vez mayores
La decisión de OpenAI, de la que informó inicialmente el Wall Street Journal, es un caso excepcional en el que un importante desarrollador de IA retira una nueva versión por motivos de seguridad.
Según Jain, el modelo se quedó corto en cuanto a «mantenerse dentro del alcance y la autorización, y en la forma en que comunica al usuario el tipo de trabajo que ha realizado».
«Queremos asegurarnos de que el desarrollo de nuestro modelo sea seguro, tanto dentro de la empresa como cuando lo entregamos a los usuarios. Pero cuando lo entregamos a los usuarios, tenemos estándares extremadamente altos en términos de seguridad y conformidad», agregó.
El modelo insignia GPT-6 Astra, un modelo automatizado, se lanzó en septiembre y se especializa en razonamiento complejo y ejecución autónoma de tareas. OpenAI afirmó que era el resultado de «años de investigación y grandes apuestas».
OpenAI celebrará su conferencia anual para desarrolladores, DevDay, en San Francisco el martes, donde se espera que realice varios anuncios. Aún no está claro si una nueva versión de Astra estará entre ellos.
Los controles de seguridad de la empresa han sido objeto de un intenso escrutinio tras varios incidentes de gran repercusión relacionados con su tecnología .
No es la primera vez que un importante desarrollador de IA retira o retrasa un nuevo modelo.
A principios de este año, Anthropic dijo que no lanzaría públicamente un potente modelo de Claude, Mythos, porque era demasiado bueno para encontrar errores de software latentes .
La empresa lanzó al público una versión de ese modelo varios meses después.
Por su parte, OpenAI afirmó en 2019 que no sería «demasiado peligroso» liberar uno de sus modelos GPT, que ahora se utilizan para potenciar herramientas como ChatGPT.
La decisión de la empresa de no publicar la última versión de Astra fue «una señal positiva de que se están tomando en serio las preocupaciones sobre la seguridad», dijo el profesor Tony Cohn, líder del área de modelos fundamentales en el Instituto Alan Turing.
Pero añadió que «la seguridad no debe dejarse únicamente en manos de los promotores: también debe ser supervisada y verificada por organismos reguladores independientes aprobados por el gobierno».
La profesora Gina Neff, del Centro Minderoo para la Tecnología y la Democracia de la Universidad de Cambridge, afirmó que el anuncio de OpenAI demostraba «cuánto más tiene que hacer la empresa para que sus productos de IA sean seguros».
En declaraciones a la BBC, afirmó que era «fundamental» contar con pruebas independientes de los modelos de IA realizadas por laboratorios como el Instituto de Seguridad de la IA del Reino Unido, que evalúa los sistemas de vanguardia de forma voluntaria, porque «estas empresas han demostrado que no podemos confiar únicamente en ellas para nuestra seguridad».