El algoritmo de Facebook que frena la violencia

Web

El software está programado para decidir la eliminación de mensajes racistas o sexuales; MILENIO entra a un cuarto de guerra en Barcelona.

Frenan mensajes inapropiados.
Fernando Santillanes
Barcelona /

Homero es un mexicano de 27 años que, seis días a la semana, recorre la Gran Vía de Barcelona hasta un edificio emblemático de la ciudad que durante años fue un elefante blanco. Se sienta frente a una computadora y entra a Facebook durante ocho horas.

Pero no es el mismo Facebook que todos usamos, sino uno que gracias a un software con inteligencia artificial y aprendizaje de máquina (machine learning) impide que las publicaciones que violan la política de contenido de la empresa se vuelvan virales.

En los hechos se trata de desactivar una “amenaza” que potencialmente puede llegar a mil 500 millones de usuarios que todos los días entran a la red social.

Homero es uno de miles de revisores de contenido que trabajan en los centros de monitoreo que Facebook en todo el mundo, apoyado en terceras empresas para administrarlos.

En Barcelona el soporte lo ofrece la compañía Competence Call Center (CCC) para identificar y eliminar de la plataforma mensajes de odio, imágenes y videos sexuales, pedofilia, violencia contra animales, bullying y acoso. Y esta tarea se realiza incluso antes de los usuarios vean su muro.

“Sabemos que no tenemos ciento por ciento de precisión; nos encantaría detener todo el contenido que viola las políticas de Facebook, pero es algo imposible”, asegura a MILENIO el product manager de Integridad en Facebook, Simon Cross.

El directivo habla con orgullo del single review tool (SRT), el software que usa inteligencia artificial y machine learning para revisar textos, imágenes, videos o emojis que llegan a la red social.

Sin embargo, este ojo algorítmico no es infalible, debido a la gran cantidad de información que se publica en Facebook.

Todos los días, a cada segundo, alguien comparte algo prohibido y en muchos casos se retira automáticamente; otras veces no es identificado como violatorio de las políticas de Facebook y se queda ahí hasta que alguien lo reporta. También ocurre que el usuario recibe un mensaje de que el material compartido puede no estar permitido. En cualquier caso se puede apelar la decisión de la inteligencia artificial, que nunca deja de entrenarse y aprender. Ahí es donde realmente comienza el proceso de revisión.

Revisores de contenido

The Verge, un medio estadunidense especializado en tecnología, publicó recientemente reportajes sobre las condiciones de trabajo de los revisores de contenido en ese país. Describe el estrés emocional que causa la exposición a material violento, los bajos salarios y las condiciones precarias en su lugar de trabajo.

Allá son otras compañías de outsourcing las que administran los centros de monitoreo y eso puede explicar situaciones de presunto acoso laboral y emocional hacia los trabajadores.

En el caso de Barcelona, los revisores enfrentan otra historia. Fabio, argentino de 25 años —que al igual que Homero se cita con una identidad protegida a petición de Facebook—, está en este trabajo por una razón: dinero.

“Creo que en todo trabajo, a menos que sea tu trabajo ideal, la motivación mayor es el dinero. Trabajaba para una plataforma web, pero aquí gano más; tengo familia y la tengo que mantener. Eso, además de los beneficios laborales y el ambiente, hacen que quiera estar acá”, afirma.

Él y cinco revisores de distintos países de América Latina responden qué tanto les afecta ver todos los días tickets —como se llama internamente a las publicaciones que violan las reglas de Facebook— de video, fotografía o texto sobre maltrato animal, abuso sexual, violencia extrema y todo ese contenido perturbador.

“Tuve más estrés tratando gente real en un call center. Las personas te llaman, te gritan y te insultan; es mucho más violento eso que ver un ticket con mensajes de odio o videos de violencia extrema”, asegura Alejandro, colombiano de 40 años que lleva un como revisor en Facebook.

Todos tomaron un curso para ser parte de este equipo. Ahí se les mostraron ejemplos del contenido violento al que se enfrentarían y los protocolos para impedir que llegue a Facebook. Para algunos empleados como Homero esos materiales no afectan su desempeño, pues está habituado a la violencia difundida durante años por el narco y replicada por algunos medios de comunicación.

“Antes de entrar pasas una evaluación psicológica y ahí Facebook se da cuenta si sirves para este trabajo, dice el mexicano radicado en Barcelona.

“No tengo problema; no digo que no haya contenido violento, pero es mínimo y mi forma de verlo es como un médico que llega, hace una cirugía con la mente abierta y no se horroriza por ver un corazón humano; nuestro trabajo es detectar ese contenido para que nadie más lo vea”.

Para Fabio la violencia más dura es la que cuesta detectar de manera automática: “Hay violencia extrema cuando una persona le corta la cabeza a otra; sin embargo, hay otro tipo de violencia que perdura y que no la tenemos muy presente porque no es gráfica: la violencia de género, el racismo o el discurso de odio. Eso te puede afectar más” .

A Natalia, otra mexicana que trabaja en CCC, tampoco le afecta tanto el contenido violento. Cuando ve videos o fotografías de ese tipo lo asume como parte del trabajo, sin hacerlo personal. “Más que un decapitado, a mí me afecta más algo escatológico”.

En este grupo de trabajo también hay psicólogos que velan por la salud mental de los revisores de Facebook. Silvestre es uno de ellos y asegura que su trabajo es más proactivo que reactivo.

“Hay veces que debemos identificar lo que un trabajador enfrenta fuera para saber qué puede estar afectando dentro. Una vez que estableces esa conexión es más fácil trabajar con la persona, porque ya tenemos un foco emocional que atender; tenemos esa atención uno a uno para ayudarles a contener el problema.

“Aquí el estrés está más ligado a los horarios que al contenido que ven, pues los revisores no siempre tienen la misma jornada ni los mismos días de descanso. Son tres horarios: mañana, tarde y noche, y tenemos más personas estresadas por su adaptación a los horarios que a los tickets”.

El revisor que nunca duerme

Todo lo que hacen los revisores es posible gracias a un software, que es el que realmente revisa y decide automáticamente el contenido que se queda en Facebook. Solo cuando hay dudas, un humano entra en acción.

Y es que, ante miles de millones de publicaciones que se realizan todos los días en la red social, es imposible que el trabajo recaiga solo en humanos. El llamado SRT aprende todo el tiempo y lo hace de cada publicación que es removida o reportada. Además, entiende la razón del posible error en sus decisiones.

“Explicarlo parece simple, pero es complejo, aunque esto ejemplifica bien cómo funciona”, asegura Simon Cross antes de describir cómo opera el software.

“El SRT identifica la publicación con base en decisiones previas y todo lo que le hemos enseñado que no debe estar en Facebook. A partir de eso remueve o deja un contenido. Si un usuario lo reporta, habrá una revisión humana; entonces se decide si el contenido se mantiene o se remueve. El SRT aprende de esa decisión humana y así vamos perfeccionando cada día la operación”, explica Cross.

“Nuestro equipo trabaja 24 horas, siete días de la semana, en 50 idiomas. Si nuestro margen de error es de 0.5 por ciento significa que dejamos pasar mucho contenido dañino. Hacemos nuestro mejor esfuerzo y vamos a mejorar junto con la tecnología, aunque sabemos que no podremos impedir que todo ese contenido llegue a la red”, acepta Cross. 

Más privacidad, menos publicidad

El pasado 20 de agosto la red social lanzó una herramienta que limita la publicidad en muros de usuarios a partir de búsquedas recientes que éstos realizan. Las aplicaciones o sitios web comparten con Facebook esa información y la red social coloca publicidad relacionada. La herramienta se llama Off-Facebook Activity y solo está disponible en España, Irlanda y Corea del Sur.

Analytica, el socio incómodo

Nada preocupa más a Facebook en este momento que la falta de protección a la privacidad de los usuarios. En julio pasado la Comisión Federal de Comercio de EU impuso a la firma tecnológica una multa de 5 mil millones de dólares, luego de que la justicia detectó que la empresa Cambridge Analytica usó con fines políticos los datos personales de 87 millones de cuentas de la red social.


Marzo, 2018

Estalla el escándalo de Cambridge Analytica, empresa que usó datos de 87 millones de estadunidenses (de la base de datos de Facebook) con fines políticos. 

Abril, 2018

Comparece Mark Zuckerber ante el Congreso estadunidense por el caso de Cambridge Analytica.

Abril, 2018

La Comisión Europea da ultimátum de dos meses a Facebook y Twitter para crear estrategia contra fake news. 

Mayo, 2018

Facebook abre en Barcelona su segundo centro contra fake news. El primero está en Essen, Alemania.


LAS MÁS VISTAS