La inteligencia artificial ha comenzado a formar parte de las actividades cotidianas de millones de personas y, además de utilizarse para resolver dudas o realizar distintas tareas, algunas personas recurren a estas herramientas para hablar sobre situaciones personales que les preocupan.
Sin embargo, los sistemas de IA también cuentan con mecanismos de seguridad diseñados para detectar determinadas conversaciones que podrían representar un riesgo para el propio usuario o para otras personas. Un caso reciente en Estados Unidos volvió a poner el tema bajo la lupa, luego de que un hombre utilizara ChatGPT para hablar sobre sus intenciones de agredir a su expareja.
Hombre planeaba matar a su exnovia y ChatGPT alertó a las autoridades
De acuerdo con reportes publicados en Estados Unidos, Darren Zhou, un exanalista de Goldman Sachs de 25 años, utilizó ChatGPT para hablar sobre la ruptura con su expareja. Con el paso de las conversaciones, sus mensajes habrían evolucionado hasta incluir amenazas explícitas contra ella.
Entre los mensajes que fueron señalados en los reportes del caso se encuentra una amenaza en la que él manifestó su intención de matar a su expareja si no podía estar con ella.
La conversación activó los mecanismos de seguridad de la plataforma. De acuerdo con los reportes sobre el caso, las interacciones fueron sometidas a una revisión y posteriormente la información fue remitida a las autoridades, lo que permitió que el FBI interviniera.
El caso ha generado especial atención debido a que muestra uno de los escenarios en los que una conversación con una inteligencia artificial puede dejar de ser considerada únicamente como una interacción privada cuando existen señales de un riesgo grave e inminente para otras personas.
¿Cómo funciona la detección de amenazas en ChatGPT?
OpenAI ha explicado que ChatGPT cuenta con sistemas destinados a identificar señales de posibles riesgos relacionados con violencia y otros daños graves. Cuando una conversación indica que una persona podría estar planeando causar daño a otra, puede ser enviada a procesos especializados de revisión.
En los casos considerados de mayor riesgo, las conversaciones pueden ser evaluadas por personal especializado. Si los revisores determinan que existe una amenaza creíble e inminente de daño físico grave hacia otra persona, OpenAI señala que puede informar a las autoridades.
Esto significa que no todas las conversaciones sobre violencia son denunciadas automáticamente. Los sistemas deben distinguir entre una conversación informativa, ficticia o de otro tipo y aquella que presenta señales de una posible amenaza real.
¿La IA puede entregar las conversaciones a la policía?
OpenAI establece que, en circunstancias limitadas, puede revelar información de usuarios a las autoridades cuando considera que es necesario para prevenir una emergencia que implique peligro de muerte o lesiones físicas graves. Estas solicitudes son evaluadas de manera individual y están sujetas a las leyes aplicables.
Por ello, no es correcto afirmar que ChatGPT “denuncia automáticamente” a cualquier persona que escriba sobre violencia ni que todos los mensajes son enviados a la policía. El proceso contempla sistemas automatizados de detección, revisión humana en determinados casos y criterios específicos para decidir cuándo existe un riesgo suficientemente grave como para escalar el caso.
El caso de Darren Zhou vuelve a poner sobre la mesa el debate sobre los límites de la privacidad en las conversaciones con inteligencia artificial y hasta dónde deben llegar las empresas tecnológicas cuando detectan posibles amenazas contra otras personas.