С.С. Волков1, Д.А. Девяткин2, И.В. Соченков3, А.О. Шелманов4

1–3 Федеральный исследовательский центр «Информатика и управление» РАН (Москва, Россия)
1 Российский университет дружбы народов (Москва, Россия)
4 Институт искусственного интеллекта (Москва, Россия)
 

Постановка проблемы. Для обучения инструментов выявления признаков нетерпимости в сообщениях социальных сетей необходимы размеченные наборы сообщений, сбор которых – трудоемкая задача. Подобные наборы широко представлены в открытом доступе для английского и арабского языков, однако для русского языка практически отсутствуют.

Цель. Снизить трудоемкость формирования наборов сообщений на русском и английском языках для обучения методов выявления признаков религиозной нетерпимости в текстах.

Результаты работы. Представлен автоматизированный подход к формированию размеченных наборов сообщений социальных сетей. В рамках этого подхода объединены методы сфокусированного сбора сообщений социальных сетей и активного обучения. Показано, что при сборе сообщений с помощью методов активного обучения осуществляется пошаговая коррекция их разметки и дообучение классификатора, применяемого для фильтрации нерелевантных текстов.

Практическая значимость. Разработанный подход позволяет одновременно сформировать мультиязычный корпус сообщений, содержащих признаки религиозной нетерпимости, и обучить классификатор для выявления подобных текстов. Обученный классификатор может быть применен в составе прикладных систем анализа и мониторинга социальных сетей.

Волков С.С., Девяткин Д.А., Соченков И.В., Шелманов А.О. Автоматизированный подход к сбору сообщений социальных сетей, содержащих признаки религиозной нетерпимости // Системы высокой доступности. 2023. Т. 19. № 2. С. 70−80. DOI: https://doi.org/ 10.18127/j20729472-202302-06

1. Alfina I., Mulia R., Fanany M.I., Ekanata Y. Hate speech detection in the Indonesian language: A dataset and preliminary study. 2017 International Conference on Advanced Computer Science and Information Systems (ICACSIS). IEEE. 2017. P. 233–238.
2. Pant K., Dadu T. Cross-lingual inductive transfer to detect offensive language. arXiv preprint arXiv:2007.03771. 2020.
3. Stappen L., Brunn F., Schuller B. Cross-lingual zero-and few-shot hate speech detection utilising frozen transformer language models and AXEL. arXiv preprint arXiv:2004.13850. 2020.
4. Kauranen M. Cross-lingual Comment Toxicity Classification. LU-CS-EX. 2020.
5. Balayn A., Yang J., Szlavik Z., Bozzon A. Automatic identification of harmful, aggressive, abusive, and offensive language on the web: a survey of technical biases informed by psychology literature. ACM Transactions on Social Computing (TSC). 2021. V. 4. № 3. p. 1–56. https://doi.org/10.1145/3479158.
6. Cowan G., Khatchadourian D. Empathy, ways of knowing, and interdependence as mediators of gender differences in attitudes toward hate speech and freedom of speech. Psychology of women quarterly. 2003. V. 27. № 4. P. 300–308.
7. Ren S., Deng Y., He K., Che W. Generating natural language adversarial examples through probability weighted word saliency. Proceedings of the 57th annual meeting of the association for computational linguistics. 2019. P. 1085–1097.
8. Li L., Ma R., Guo Q., Xue X., Qiu X. Bert-attack: Adversarial attack against bert using bert. arXiv preprint arXiv:2004.09984. 2020.
9. Jin D., Jin Z., Zhou J.T., Szolovits P. Is bert really robust? a strong baseline for natural language attack on text classification and entailment. Proceedings of the AAAI conference on artificial intelligence. 2020. V. 34. № 05. P. 8018–8025.
10. Garg S., Ramakrishnan G. Bae: Bert-based adversarial examples for text classification. arXiv preprint arXiv:2004.01970. 2020.
11. Devlin J., Chang M.W., Lee, K., Toutanova, K. Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805. 2018.
12. Ryzhova A. et al. Training Multilingual and Adversarial Attack-Robust Models for Hate Detection on Social Media. Procedia Computer Science. 2022. V. 213. P. 196–202.
13. Charitidis P. et al. Towards countering hate speech against journalists on social media. Online Social Networks and Media. 2020. V. 17. P. 100071.
14. Luu S.T., Nguyen K.V., Nguyen N.L.T. A large-scale dataset for hate speech detection on vietnamese social media texts. Advances and Trends in Artificial Intelligence. Artificial Intelligence Practices: 34th International Conference on Industrial, Engineering and Other Applications of Applied Intelligent Systems, IEA/AIE 2021, Kuala Lumpur, Malaysia, July 26–29, 2021, Proceedings, Part I 34. Springer International Publishing, 2021. P. 415–426.
15. Liu Y. et al. Roberta: A robustly optimized bert pretraining approach. arXiv preprint arXiv:1907.11692. 2019.
16. Podolskiy A. et al. Revisiting mahalanobis distance for transformer-based out-of-domain detection. Proceedings of the AAAI Conference on Artificial Intelligence. 2021. V. 35. № 15. P. 13675–13682.
17. Hu Y., Khan L. Uncertainty-aware reliable text classification. Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021. P. 628–636.
18. Lewis D.D., Catlett J. Heterogeneous uncertainty sampling for supervised learning. Machine learning proceedings 1994. Morgan Kaufmann. 1994. P. 148–156.
19. Gal Y., Ghahramani Z. Dropout as a bayesian approximation: Representing model uncertainty in deep learning. International conference on machine learning. PMLR, 2016. P. 1050–1059.
20. Gissin D., Shalev-Shwartz S. Discriminative active learning. arXiv preprint arXiv:1907.06347. 2019.
21. Vazhentsev A. et al. Uncertainty Estimation of Transformer Predictions for Misclassification Detection. Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics (V. 1: Long Papers). 2022. P. 8237–8252.
22. Hersovici M. et al. The shark-search algorithm. An application: tailored web site mapping. Computer Networks and ISDN Systems. 1998. Т. 30. № 1–7. P. 317–326.
23. Devyatkin D.A. et al. Intelligent analysis of manifestations of verbal aggressiveness in network community texts. Scientific and Technical Information Processing. 2014. V. 41. P. 377–389.
24. Manikandan N.K. et al. Focused Web Crawler For Retrieving Relevant Contents. Turkish Journal of Computer and Mathematics Education (TURCOMAT). 2021. V. 12. № 10. P. 2025–2028.
25. Kumar S. et al. Decision tree Thompson sampling for mining hidden populations through attributed search. Social Network Analysis and Mining. 2022. V. 12. № 1. P. 1–21.
26. Conneau A. et al. Unsupervised cross-lingual representation learning at scale. arXiv preprint arXiv:1911.02116. 2019.
27. Devyatkin D., Smirnov I., Ananyeva M., Kobozeva M., Chepovskiy A., Solovyev F. 2017, July. Exploring linguistic features for extremist texts detection (on the material of Russian-speaking illegal texts). In 2017 IEEE International Conference on Intelligence and Security Informatics (ISI) (P. 188–190). IEEE.
28. Набор сообщений на русском языке с признаками ненависти. https://www.kaggle.com/datasets/blackmoon/russian-language-toxic-comments. Доступ: 10 апреля 2023.
29. Mandl T., Modha S., Majumder P., Patel D., Dave M., Mandlia C., Patel A. Overview of the hasoc track at fire 2019: Hate speech and offensive content identification in indo-european languages. Proceedings of the 11th forum for information retrieval evaluation. 2019. P. 14–17.
30. El-Yaniv R. On the Foundations of Noise-free Selective Classification. Journal of Machine Learning Research. 2010. V. 11. № 5.
31. Xin J., Tang R., Yu Y., Lin J. The art of abstention: Selective prediction and error regularization for natural language processing. Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (V. 1: Long Papers). 2021. P. 1040–1051.