Moderar el contenido en línea es difícil (como Elon Musk acaba de descubrir). Pero Meta, la empresa detrás de Facebook, Instagram y WhatsApp, espera facilitar las cosas para otras plataformas. La semana pasada anunció que abriría el código fuente de su herramienta Hasher-Matcher-Actioner (HMA) y lo pondría a disposición de forma gratuita. Esta noticia llega cuando Meta se prepara para presidir la Junta Operativa del Foro Global de Internet para Contrarrestar el Terrorismo (GIFCT).
Fundada en 2017 por Facebook, Microsoft, Twitter y YouTube, GIFCT se ha convertido desde entonces en una organización sin fines de lucro que trabaja con empresas miembros, gobiernos y organizaciones de la sociedad civil para tomar medidas contra el contenido terrorista y extremista violento en línea. Un aspecto de esto es mantener una base de datos hash compartida de contenido extremista para que si una empresa, digamos Facebook, marca algo como terrorista, otras empresas, como YouTube, puedan eliminarlo automáticamente.
Para que estas bases de datos funcionen de manera eficiente (y para que ninguna empresa tenga que almacenar petabytes de contenido terriblemente violento), no almacenan una copia completa del contenido ofensivo. En cambio, almacenan una huella digital única o hash.
Cómo se hacen los hashes: Esencialmente, una copia del video extremista, la foto del terrorista, el manifiesto en PDF o cualquier otra cosa se ejecuta a través de un algoritmo que lo convierte en una cadena única de números y letras. No puede recrear el contenido usando el hash, pero si pasa el mismo video a través del algoritmo, siempre obtendrá el mismo resultado. Siempre que todas las plataformas usen el mismo algoritmo para crear los hashes, pueden usar una base de datos común para rastrear el contenido terrorista.
[Related: Antivaxxers use emojis to evade Facebook guidelines]
La herramienta HMA de Meta permite que las plataformas automaticen el proceso de hash de una imagen o video, cotejándolo con una base de datos y tomando medidas en su contra, como evitar que el video se publique o bloquear la cuenta que lo intentó. No se limita a contenido terrorista y puede funcionar con una base de datos compartida como la de GIFCT o propietaria como la ID de contenido de YouTube.
Vale la pena señalar que todo esto sucede en segundo plano todo el tiempo. Una vez que HMA u otra herramienta automatizada similar se configura y ejecuta, todas las fotos y videos publicados por los usuarios se procesan y se comparan con las bases de datos correspondientes a medida que se cargan. Si los moderadores marcan algo más tarde como violento, ofensivo o elegible para su eliminación, puede volver atrás y eliminar automáticamente las otras instancias que están activas en la plataforma. Es un proceso continuo destinado a evitar que se vea o distribuya contenido objetable.
Si bien la mayoría de las plataformas principales ya utilizan algún tipo de moderación de contenido automatizada, Meta espera que su herramienta HMA ayude a las empresas más pequeñas que carecen de los recursos de las plataformas principales. “Muchas empresas no tienen las capacidades tecnológicas internas para encontrar y moderar el contenido infractor de forma masiva”, dijo Nick Clegg, ex viceprimer ministro del Reino Unido y ahora presidente de Asuntos Globales de Meta. Y a medida que más empresas participan en la base de datos hash compartida, cada empresa mejora en la eliminación de contenido horrible, especialmente porque rara vez se comparte en un solo lugar. “La gente a menudo cambia de una plataforma a otra para compartir este contenido”.
Meta afirma haber gastado alrededor de $ 5 mil millones en seguridad y protección el año pasado y está comprometida a combatir el contenido terrorista como “parte de un enfoque más amplio para proteger a los usuarios del contenido dañino en nuestros Servicios”. Clegg afirma que “el discurso de odio ahora se ve dos veces por cada 10 000 vistas de contenido en Facebook, frente a 10 u 11 veces por cada 10 000 vistas hace menos de tres años”. Sin acceso a los datos internos de Facebook, no podemos verificar esta afirmación. y algunos informes parecen indicar que el propio sistema de la empresa está lejos de ser perfecto. Sin embargo, iniciativas como HMA y la Junta de Supervisión al menos dan la impresión de que Meta se toma en serio la resolución del problema de moderación de contenido de manera justa y consistente, a diferencia de Twitter.