Detectando el odio ideológico en Twitter. Desarrollo y evaluación de un detector de discurso de odio por ideología política en tuits en españo

  1. Javier J. Amores
  2. David Blanco-Herrero
  3. Patricia Sánchez-Holgado
  4. Maximiliano Frías-Vázquez
Journal:
Cuadernos.Info

ISSN: 0719-3661

Year of publication: 2021

Issue: 49

Pages: 98-124

Type: Article

DIALNET GOOGLE SCHOLAR lock_openOpen access editor

More publications in: Cuadernos.Info

Abstract

El discurso de odio propagado a través de redes sociales como Twitter merece atención especial, ya que su incremento puede relacionarse con el aumento de crímenes de odio. De las 11 categorías de discriminación que contempla el Ministerio de Interior de España, la segunda en la que más delitos de odio se registran al año es la ideología. Sin embargo, esta categoría queda fuera de la mayor parte de los planes de acción para estudiar y combatir los delitos de odio. Lo mismo ocurre con los trabajos académicos, que se centran mayoritariamente en el odio en inglés y a nivel general. Los que estudian un único tipo de odio se han enfocado en el racismo, la xenofobia o la discriminación de género, pero nunca en la ideología política. Asimismo, los prototipos de detección desarrollados hasta ahora no usan bases de datos generadas manualmente por varios codificadores. Esta investigación busca superar estas limitaciones, desarrollando y evaluando un detector automático de discurso de odio por motivos ideológicos en Twitter en español a partir de técnicas de aprendizaje automático supervisado. Para ello, se ha desarrollado un total de ocho modelos predictivos a partir de un corpus de entrenamiento generado ad-hoc, y haciendo uso de modelado superficial y de aprendizaje profundo, lo que permite mejorar el rendimiento final del prototipo. El desarrollo del corpus permitió observar, además, que un 16,2% de la muestra, recogida en el otoño de 2019, incluyó algún tipo de odio ideológico

Bibliographic References

  • Alonso González, M. (2017). Predicción política y Twitter: Elecciones generales de España 2015 (Political prediction and Twitter: Spanish legislative elections 2015). ZER: Revista de Estudios de Comunicación = Komunikazio Ikasketen Aldizkaria, 22(43), 13-30. https://doi.org/10.1387/zer.16298
  • Amores, J. J., Arcila-Calderón, C. A., & Stanek, M. (2019). Visual frames of migrants and refugees in the main Western European media. Economics & Sociology, 12(3), 147-161. https://doi.org/10.14254/2071-789X.2019/12-3/10
  • Amores, J. J., Arcila-Calderón, C., & Blanco-Herrero, D. (2020). Evolution of negative visual frames of immigrants and refugees in the main media of Southern Europe. Profesional de la Información, 29(6). Retrieved from https://revista.profesionaldelainformacion.com/index.php/EPI/article/view/80525
  • Anti-Defamation League. (2020). Online Hate and Harassment. The American Experience 2020. The ADL Center for Technology and Society. Retrieved from https://www.adl.org/media/14643/download
  • Anti-Defamation League. (2021). Online Hate and Harassment. The American Experience 2021. The ADL Center for Technology and Society. Retrieved from https://www.adl.org/media/16033/download
  • Arcila-Calderón, C., Blanco-Herrero, D., & Valdez-Apolo, M. B. (2020). Rechazo y discurso de odio en Twitter: análisis de contenido de los tuits sobre migrantes y refugiados en español (Rejection and Hate Speech in Twitter: Content Analysis of Tweets about Migrants and Refugees in Spanish). REIS: Revista Española de Investigaciones Sociológicas, 172, 21-40. https://doi.org/10.5477/cis/reis.172.21
  • Arcila-Calderón, C., Ortega-Mohedano, F., Amores, J. J., & Trullenque, S. (2017). Análisis supervisado de sentimientos políticos en español: clasificación en tiempo real de tweets basada en aprendizaje automático (Supervised sentiment analysis of political messages in Spanish: Real-time classification of tweets based on machine learning). Profesional de la Información, 26(5), 973-982. https://doi.org/10.3145/epi.2017.sep.18
  • Arroyo, S. C. (2017). El concepto de delitos de odio y su comisión a través del discurso: especial referencia al conflicto con la libertad de expresión (The concept of hate crimes and their execution through speech: special reference to the conflict with freedom of speech). Anuario de derecho penal y ciencias penales, 70(1), 139-225. Retrieved from http://agora.edu.es/servlet/articulo?codigo=6930585
  • Badjatiya, P., Gupta, S., Gupta, M., & Varma, V. (2017, April). Deep learning for hate speech detection in tweets. In Proceedings of the 26th International Conference on World Wide Web Companion (pp. 759-760). https://doi.org/10.1145/3041021.3054223
  • Bane, K. C. (2019). Tweeting the agenda: How print and alternative web-only news organizations use Twitter as a source. Journalism Practice, 13(2), 191-205. https://doi.org/10.1080/17512786.2017.1413587
  • Benesch, S. (2014). Defining and diminishing hate speech. In P. Grant (Ed.), State of the World’s Minorities and Indigenous Peoples (pp. 18-25). Retrieved from https://minorityrights.org/publications/state-of-the-worlds-minorities-and-indigenous-peoples-2014-july-2014/
  • Calvert, C. (1997). Hate speech and its harms: A communication theory perspective. Journal of Communication, 47(1), 4-19. https://doi.org/10.1111/j.1460-2466.1997.tb02690.x
  • Carmona, O. I. (2010). Internet 2.0: El territorio digital de los prosumidores (Web 2.0: the digital territory of prosumers). Revista Estudios Culturales, (5), 43-64. Retrieved from http://servicio.bc.uc.edu.ve/multidisciplinarias/estudios_culturales/
  • Chetty, N. & Alathur, S. (2018). Hate speech review in the context of online social networks. Aggression and violent behavior, 40, 108-118. https://doi.org/10.1016/j.avb.2018.05.003
  • Council of Europe. (1997). Recommendation No. R (97) 20 of the Committee of Ministers to member states on “hate speech”. Council of Europe, Committee of Ministers. Retrieved from https://search.coe.int/cm/Pages/result_details.aspx?ObjectID=0900001680505d5b
  • Davidson, T., Warmsley, D., Macy, M., & Weber, I. (2017). Automated hate speech detection and the problem of offensive language. In Proceedings of the International AAAI Conference on Web and Social Media, 11(1). Retrieved from https://ojs.aaai.org/index.php/ICWSM/article/view/14955
  • ElSherief, M., Kulkarni, V., Nguyen, D., Wang, W. Y., & Belding, E. (2018). Hate lingo: A targetbased linguistic analysis of hate speech in social media. In Proceedings of the International AAAI Conference on Web and Social Media, 12(1). Retrieved from https://ojs.aaai.org/index.php/ICWSM/article/view/15041
  • European Commission against Racism and Intolerance. (2016). ECRI General Policy Recommendation N.° 15 on Combating Hate Speech. Council of Europe. Retrieved from https://book.coe.int/en/human-rights-and-democracy/7180-pdf-ecri-general-policyrecommendations-no-15-on-combating-hate-speech.html
  • Ferreira, C. (2019). Vox como representante de la derecha radical en España: un estudio sobre su ideología (Vox as representative of the radical right in Spain: A study of its ideology). Revista Española de Ciencia Política, (51), 73-98. https://doi.org/10.21308/recp.51.03
  • Jubany, O. & Roiha, M. (2018). Las palabras son armas. Discurso de odio en la red (Words are weapons. Hate speech online). Barcelona, Spain: Edicions Universitat Barcelona.
  • Gagliardone, I., Gal, D., Alves, T., & Martinez, G. (2015). Countering online hate speech. Paris, France: Unesco Publishing.
  • García-Ortega, C. & Zugasti-Azagra, R. (2018). Gestión de la campaña de las elecciones generales de 2016 en las cuentas de Twitter de los candidatos: entre la autorreferencialidad y la hibridación mediática (The management of the candidates’ Twitter accounts in the Spanish 2016 general elections: Between self-referentiality and media hybridization). Profesional de la Información, 27(6), 1215-1224. https://doi.org/10.3145/epi.2018.nov.05
  • Isasi, A. C. & Juanatey, A. G. (2017). El discurso del odio en las redes sociales: Un estado de la cuestión (Hate speech on social media: A state of the art). Barcelona, Spain: Ajuntament de Barcelona Progress Report. Retrieved from https://ajuntament.barcelona.cat/bcnvsodi/wp-content/uploads/2015/03/Informe_discurso-del-odio_ES.pdf
  • Kalampokis, E., Tambouris, E., & Tarabanis, K. (2013). Understanding the predictive power of social media. Internet Research, 23(5), 544–559. https://doi.org/10.1108/IntR-06-2012-0114
  • Krippendorff, K. (2010). On communicating: Otherness, meaning, and information. Routledge.
  • Leader Maynard, J. & Benesch, S. (2016). Dangerous speech and dangerous ideology: An integrated model for monitoring and prevention. Genocide Studies and Prevention, 9(3), 70-95. https://doi.org/10.5038/1911-9933.9.3.1317
  • López-García., G. (2016). ‘New’ vs ‘old’ leaderships: the campaign of Spanish general elections 2015 on Twitter. Communication & Society, 29(3), 149-168. https://doi.org/10.15581/003.29.3.149-168
  • López-Meri, A. (2015). Twitter como fuente informativa de sucesos imprevistos: el seguimiento de hashtags en el caso #ArdeValencia (Twitter as an Information Source of Unexpected Events: Following Hashtags in the Case #ArdeValencia). Disertaciones: Anuario electrónico de estudios en Comunicación Social, 8(1), 27-51. https://doi.org/10.12804/disertaciones.01.2015.02
  • Malmasi, S. & Zampieri, M. (2017). Detecting hate speech in social media. arXiv preprint:1712.06427. Retrieved from https://arxiv.org/abs/1712.06427
  • Marín Dueñas, P. P. & Díaz Guerra, A. (2016). Uso de Twitter por los partidos y candidatos políticos en las elecciones autonómicas de Madrid 2015 (Use of Twitter by political parties and candidates in the 2015 Madrid regional elections). Ámbitos: Revista Internacional de Comunicación, (32), 1-15. Retrieved from https://revistascientificas.us.es/index.php/Ambitos/article/view/10436
  • Ministerio del Interior de España (Ed.). (2020). Informe de Evolución de los Delitos de Odio en España (Report on the Evolution of Hate Crimes in Spain). Retrieved from http://www.interior.gob.es/documents/642012/3479677/Informe+sobre+la+evolución+de+delitos+de+odio+en+España%2C%20año+2019/344089ef-15e6-4a7b-8925-f2b64c117a0a
  • Ministerio de Empleo, Migraciones y Seguridad Social. (2018). Acuerdo de cooperación institucional con el Consejo General del Poder Judicial y la Fiscalía General del Estado, para luchar contra el racismo, la xenofobia, la LGBTIfobia y otras formas de Intolerancia (Institutional cooperation agreement with the General Council of the Judiciary and the State Attorney General's Office, to fight against racism, xenophobia, LGBTIphobia and other forms of Intolerance). Retrieved from http://www.inclusion.gob.es/oberaxe/ficheros/ejes/cooperacion/Acuerdo_insterinsticuional_original.pdf
  • Miró Llinares, F. (2016). Taxonomía de la comunicación violenta y el discurso del odio en Internet (Taxonomy of violent communication and the discourse of hate on the internet). IDP. Revista de Internet, Derecho y Política, (22), 82-107. Retrieved from https://www.raco.cat/index.php/IDP/article/view/n22-miro/408486
  • Mondal, M., Silva, L. A., & Benevenuto, F. (2017, July). A measurement study of hate speech in social media. In Proceedings of the 28th ACM conference on hypertext and social media (pp. 85-94). https://doi.org/10.1145/3078714.3078723
  • Moretón Toquero, M. A. (2012). El «ciberodio», la nueva cara del mensaje de odio: entre la cibercriminalidad y la libertad de expresión (Cyberhate, the new face of the hate message: between cybercrime and freedom of expresión). Revista Jurídica de Castilla y León, 27, 1-18.
  • Movimiento contra la Intolerancia. (2019). Informe Raxen: Racismo, Xenofobia, Antisemitismo, Islamofobia, Neofascismo y otras manifestaciones de intolerancia a través de los hechos. Especial 2019. Por un Pacto de Estado contra la Xenofobia y la Intolerancia (Raxen Report: Racism, Xenophobia, Anti-Semitism, Islamophobia, Neo-fascism and other manifestations of intolerance through facts. Special 2019. For a State Pact against Xenophobia and Intolerance). Movimiento contra la Intolerancia. Retrieved from https://www.inclusion.gob.es/oberaxe/ficheros/documentos/InformeRaxen.pdf
  • Müller, K. & Schwarz, C. (2020). Fanning the Flames of Hate: Social Media and Hate Crime. Journal of the European Economic Association, jvaa045. https://doi.org/10.1093/jeea/jvaa045
  • Newman, N., Fletcher, R., Kalogeropoulos, A., & Nielsen, R. (2019). Reuters Institute Digital News Report 2019. Reuters Institute for the Study of Journalism. Retrieved from https://reutersinstitute.politics.ox.ac.uk/sites/default/files/inline-files/DNR_2019_FINAL.pdf
  • Organization for Security and Cooperation in Europe. (2020). OSCE - ODIHR. Hate Crime Reporting. Retrieved from https://hatecrime.osce.org/
  • Pereira Kohatsu, J. C. (2017). Construcción de modelos de clasificación automática para discursos de odio (Building automatic classification models for hate speech) (Master’s thesis). Retrieved from https://repositorio.uam.es/handle/10486/680053
  • Pereira-Kohatsu, J. C., Quijano-Sánchez, L., Liberatore, F., & Camacho-Collados, M. (2019). Detecting and monitoring hate speech in Twitter. Sensors, 19(21), 4654. https://doi.org/10.3390/s19214654
  • Rodríguez, R. & Ureña, D. (2011). Diez razones para el uso de Twitter como herramienta en la comunicación política y electoral (Ten reasons to use Twitter as a tool for politicaland electoral communication). Comunicación y pluralismo, (10), 89-116. Retrieved from https://summa.upsa.es/viewer.vm?id=30573&view=main&lang=es
  • Said-Hung, E. M., Prati, R. C., & Cancino-Borbón, A. (2017). La orientación ideológica de los mensajes publicados en Twitter durante el 24M en España (The Ideological Orientation of Messages Posted on Twitter during the 24M in Spain). Palabra Clave, 20(1), 213-238. https://doi.org/10.5294/pacla.2017.20.1.10
  • Salminen, J., Hopf, M., Chowdhury, S. A., Jung, S. G., Almerekhi, H., & Jansen, B. J. (2020). Developing an online hate classifier for multiple social media platforms. Human-centric Computing and Information Sciences, 10, 1. https://doi.org/10.1186/s13673-019-0205-6
  • Tamarit Sumalla, J. M. (2018). Los delitos de odio en las redes sociales (Hate crimes on social networks). IDP: Revista de Internet, Derecho y Política, 27, 17-29. Retrieved from https://www.raco.cat/index.php/IDP/article/view/n27-tamarit
  • Valdez-Apolo, M. B., Arcila-Calderón, C., & Amores, J. J. (2019). El discurso del odio hacia migrantes y refugiados a través del tono y los marcos de los mensajes en Twitter (Hate speech against migrants and refugees through the tone and frames of Twitter messages). Revista de la Asociación Española de Investigación de la Comunicación, 6(12). https://doi.org/10.24137/raeic.6.12.2
Data source: Dialnet