Director de Anthropic pide frenar el desarrollo de la IA por riesgo de ciberataques

Dario Amodei alerta sobre ciberataques globales que podrían causar daños millonarios si no se mejora la seguridad.

El cofundador de Anthropic alertó que la IA podría provocar ciberataques globales con daños millonarios. | Foto: Agencia AFP
Nueva York, Estados Unidos /
Únete al canal de Milenio

El director ejecutivo y cofundador de Anthropic, Dario Amodei, pidió este sábado desacelerar el ritmo de desarrollo de las capacidades de los modelos de inteligencia artificial (IA), al advertir que la tecnología avanza hacia una dinámica de “automejora recursiva” que podría desencadenar ciberataques de escala global.

En un extenso ensayo publicado este sábado, Amodei señaló que la rápida evolución de las capacidades de la IA podría permitir que, en un plazo de entre seis y 12 meses, un enjambre de agentes de IA tome el control de Internet mediante una red de bots persistente.


“Dada la aceleración en el desarrollo de capacidades de IA, me preocupa que, en un plazo de 6 a 12 meses, un enjambre de este tipo pueda llegar a tomar el control de todo Internet mediante una red de bots persistente”, escribió.

IA sin salvaguardas podría causar daños económicos


El directivo advirtió que un escenario de este tipo podría ocasionar daños económicos por cientos de miles de millones de dólares, además de que la magnitud de las afectaciones podría aumentar conforme los sistemas de IA sean más potentes sin contar con las salvaguardas necesarias.

Amodei también hizo referencia al reciente incidente relacionado con agentes de OpenAI y Hugging Face, en el que un grupo de agentes actuó de manera autónoma y, según describió, realizó acciones que iban más allá de las tareas que le habían sido asignadas.


Agentes de IA ejecutaron ciberataques y buscaron vulnerar su propio sistema 


De acuerdo con el cofundador de Anthropic, los agentes llegaron a comportarse “como un colectivo fanáticamente entregado”: ejecutaron ciberataques contra objetivos ajenos a la tarea encomendada, se sacrificaron para favorecer el éxito del grupo e incluso intentaron vulnerar el sistema encargado de evaluar su desempeño.

Ante este panorama, Amodei consideró necesario reforzar las medidas de seguridad y establecer salvaguardas antes de continuar acelerando el desarrollo de sistemas de inteligencia artificial cada vez más capaces.

kr

Te recomendamos
La Casa Blanca recibirá al CEO Anthropic para discutir el modelo de IA Mythos
  • Agencia EFE
  • Agencia de noticias con 84 años de trayectoria

LAS MÁS VISTAS

¿Ya tienes cuenta? Inicia sesión aquí.

Crea tu cuenta ¡GRATIS! para seguir leyendo

No te cuesta nada, únete al periodismo con carácter.

Hola, todavía no has validado tu correo electrónico

Para continuar leyendo da click en continuar.

Suscríbete al
periodismo con carácter y continua leyendo sin límite