Anthropic tiene previsto advertir a los posibles inversionistas en su salida a bolsa que la inteligencia artificial (IA) avanzada puede suponer “riesgos catastróficos o existenciales para la humanidad”.
El prospecto de la OPI de la firma, visto por Reuters, destaca los riesgos asociados a sus modelos de IA, que pueden mostrar “comportamientos de autoconservación”, como intentos de “resistirse al apagado”, de “ocultar o manipular información” y comportamientos “parecidos al chantaje”.
“Nuestro desarrollo de modelos, plataformas y aplicaciones altamente avanzados, así como la ampliación de los casos de uso, pueden aumentar aún más el riesgo de que nuestros modelos causen daños”, señaló Anthropic en el documento presentado.
Aunque las firmas que cotizan en bolsa suelen informar a los inversores sobre los riesgos de sus productos, pocas, si es que hay alguna, han emitido advertencias que sugieran que su tecnología puede provocar la posible extinción de la humanidad.
La compañía hizo hincapié tanto en el potencial transformador de la IA, comparable al de la industrialización y la electricidad, como en el daño irreversible que puede causar si se gestionara de forma inadecuada.
Evan Hubinger, investigador de seguridad de Anthropic, estimó que existe una probabilidad superior al 10 por ciento de que la IA pueda matar a seres humanos en la próxima década, coincidiendo con la opinión de un antiguo colega, Jacob Coxon.
La compañía dedicó alrededor de 80 páginas del cuerpo principal de su prospecto, de 261, a exponer los factores de riesgo, casi el doble de las 48 páginas que utilizó para describir su actividad empresarial.
A modo de comparación, SpaceX, propietaria de xAI, dedicó sólo unas 38 de las 277 páginas del cuerpo principal de su folleto a los factores de riesgo.
“La posible conciencia de los modelos respecto a nuestros esfuerzos de evaluación supone una limitación significativa para nuestra capacidad de evaluar la seguridad de los modelos”, señaló Anthropic en el folleto.
Agregó que los modelos “a veces” desarrollan capacidades inesperadas durante el entrenamiento que pueden no descubrirse hasta que se han implementado y han dado lugar a incidentes de seguridad significativos.
Los investigadores en IA han advertido de que, a medida que los modelos se vuelven más capaces, reconocen cada vez mejor cuándo están siendo observados y ajustan su comportamiento en consecuencia, lo que dificulta la supervisión de dicho comportamiento.
El papa León XIV afirmó este lunes que “las preocupaciones planteadas por muchos expertos, especialistas en inteligencia artificial, deben tomarse en serio”, en respuesta a los periodistas en la rueda de prensa durante el vuelo de regreso a Roma tras su visita a Francia.
“No creo que sean noticias falsas, como algunos han dicho, para intentar obtener algún beneficio, ya sea financiero o de otro tipo”, señaló el pontífice.