Sistema FARO: Inteligencia artificial para combatir el odio en redes sociales.

Durante el 2020, la gran oleada de discursos de odio que sufrieron las personas asiáticas en España en el contexto de la pandemia de COVID-19 activó las alarmas del Observatorio Español de Racismo y Xenofobia (OBERAXE), que comenzó a desarrollar diversas herramientas para evaluar la evolución del racismo en España e identificar discursos de odio en redes sociales. El pasado marzo, el Ministerio de Inclusión, Seguridad Social y Migraciones, en colaboración con LALIGA, han unido esfuerzos con OBERAXE en la lucha contra el odio en el entorno digital, presentando el llamado Sistema FARO (Filtrado y Análisis de Odio en Redes Sociales).

Esta innovadora iniciativa se centra en la detección de contenidos con motivación racista, xenófoba, islamófoba, antisemita y antigitana, publicados en las cinco principales plataformas digitales en (España Facebook, Instagram, TikTok, YouTube y X), para solicitar su retirada. Se trata de una herramienta que utiliza una tecnología con inteligencia artificial para detectar en tiempo real la publicación de contenidos que inciten al odio en estas redes, empleando más de 100.000 reglas semánticas especializadas en castellano y adaptadas al contexto español.

Esta IA filtra y clasifica los mensajes según múltiples variables, como el grupo al que se dirige el ataque, quién lo emite o la intención detrás de este, aportando información valiosa para conocer las verdaderas dimensiones de esta problemática. Al mismo tiempo, existe una constante monitorización por parte un equipo de ocho profesionales del OBERAXE que trabajan diariamente analizando estos mensajes, educando y retroalimentando a esta IA para que cada vez produzca información más precisa y fiable.

Los datos recogidos por el sistema FARO desde su lanzamiento son preocupantes: 2.144 contenidos que podrían ser constitutivos de delito o infringir las normas de las plataformas, mensajes que deshumanizan y degradan a personas de origen extranjero, apoyando o elogiando conductas agresivas hacia estos grupos.

Sin embargo, a pesar de lo alarmante de estos datos, el 70% de los mensajes de odio siguen sin ser eliminados o tardan días en ser revisados. Esto se debe a que algunas plataformas, como Meta o X, han implementado en los últimos años cambios en sus normativas y recortes significativos en sus equipos de moderación de contenidos, dando una total impunidad a los comentarios que incitan al odio.

En un contexto de aparente “deriva anti derechos humanos” en el que las plataformas han abandonado la lucha contra el odio digital, —si algún día la tuvieron presente—, se hace más necesario que nunca que los gobiernos emprendan una acción legislativa contundente para obligar a este tipo de empresas a tener una serie de herramientas que prevengan y persigan dentro de sus plataformas este tipo de contenidos y faciliten la posibilidad de que a través de los juzgados sea más fácil descubrir quién hay detrás de estas cuentas.

“Precisamente por esto, el sistema FARO es una potente herramienta que puede garantizar la protección de derechos directamente desde una administración pública sin depender de cómo actúen las propias plataformas”.

Expone María Georgina Granero, antropóloga del área de conocimiento de Innicia que trabajó en el estudio Transformando narrativas: guía de buenas prácticas para la denuncia del racismo y la promoción de la convivencia intercultural en España (ver aquí).

“Además, el hecho de que sea la propia administración quien pueda elevar las denuncias a la Fiscalía es clave para evitar la revictimización de las personas que sufran estos discursos”, añade.

Precisamente en el estudio antes citado, se observó cómo han surgido comunidades antirracistas en redes sociales que impulsan narrativas alternativas a los discursos de odio. Por otro lado, las personas entrevistadas ponían de manifiesto la carencia de implicación efectiva por parte de las administraciones. Ambos ejemplos ponen de relieve la necesidad latente de herramientas oficiales con el alcance suficiente.

En este contexto, el Sistema FARO representa un avance significativo en la respuesta institucional a estas problemáticas, al dotar a las administraciones de una herramienta tecnológica avanzada para la monitorización, análisis y denuncia del discurso de odio en redes sociales. La combinación de esta tecnología con el impulso de contranarrativas desde la sociedad civil podría contribuir a generar un entorno digital más seguro que ponga freno al odio fomentando discursos de inclusión y diversidad.

Arturo Moreno, técnico del área de conocimiento que cuenta con amplia trayectoria en el trabajo con víctimas de delitos de odio y ha publicado en Innicia el estudio Identificación de las competencias, habilidades y buenas prácticas necesarias en la intervención con víctimas de LGTBIfobia (ver aquí), plantea: 

«¿Podría esta herramienta abarcar más categorías? Efectivamente, sería sumamente valioso ampliar su alcance para abarcar otras formas de discriminación, por ejemplo, hacia colectivos vulnerables como las personas LGTBIQ+ o personas con discapacidad, que también sufren discursos de odio que pueden derivar en graves consecuencias sociales y personales. Extender el objeto de análisis de esta herramienta permitiría tener una visión más completa de la intolerancia en redes sociales y facilitaría la creación de estrategias para combatirla».

En resumen, el sistema FARO constituye una herramienta clave para la prevención y la protección contra el odio, ya que enfrenta todo tipo de mensajes ofensivos: incluso aquellos que todavía no son constitutivos de delito pero que, sin embargo, cumplen un papel fundamental en la construcción de un clima de hostilidad, donde se normalizan actitudes discriminatorias y se refuerzan estereotipos negativos que perpetúan la exclusión social, la violencia y los delitos de odio. La existencia de herramientas como FARO permite no solo detectar y frenar estos discursos antes de que escalen, sino también generar datos clave para analizar tendencias y diseñar estrategias más eficaces en la lucha contra la intolerancia en el entorno digital.

Si bien el avance de iniciativas gubernamentales como esta es un gran paso en la dirección correcta, sigue siendo necesario señalar la raíz del problema y nombrar al odio y la intolerancia como lo que son: problemas estructurales cuya posible solución no solo pasa por fomentar una educación basada en la sensibilización y concienciación, sino porque las instituciones y la sociedad civil exijamos una legislación contundente a las corporaciones detrás de las redes sociales con el fin de garantizar un entorno digital seguro y respetuoso.

¿Qué te parecen iniciativas como esta?

Si este artículo te ha parecido interesante, no dudes en compartirlo con tus contactos.