Д.В. Журавлёв1, А.Н. Голубинский2, А.А. Толстых3, А.А. Резниченко4

1,4 Воронежский государственный технический университет (г. Воронеж, Россия)

2 Институт проблем передачи информации им. А.А. Харкевича РАН (Москва, Россия)

3 ООО «РТК» (Москва, Россия)

1 ddom1@yandex.ru, 2 annikgol@mail.ru, 3 tolstykh.aa@yandex.ru, 4 andrei.reznichencko2017@yandex.ru

Постановка проблемы. Классификация моторики по сигналам электроэнцефалограмм является сложной прикладной задачей. Особенно при ее реализации в переносных малогабаритных интерфейсах «мозг-компьютер». В настоящее время не существует единого решения, позволяющего проводить классификацию моторных образов с достаточной достоверностью и точностью для того чтобы данная технология могла быть использована повсеместно. Среди многочисленных моделей искусственных нейронных сетей, применяемых для классификации моторных образов, новым и не достаточно изученным направлением является использование для таких операций диффузионных нейронных сетей.

Цель. Применительно к интерфейсам «мозг-компьютер» провести исследование эффективности использования различных моделей диффузионных нейронных сетей в задачах классификации моторных образов по сигналам электроэнцефалограмм, показать их универсальность для работы дикторозависимыми и дикторонезависимыми наборами данных. Также провести исследование влияния предварительной фильтрации ЭЭГ сигналов на качество классификации.

Результаты. Проведено исследование эффективности классификации моторных образов как реальных, так и воображаемых движений рук при помощи классификаторов, построенных на основе моделей диффузионных нейронных сетей TimeGrad, ScoreGrad и DVa. C использованием стандартных метрик «точность» и ROC-AUC проведен анализ эффективности классификаций, как дикторозависимых, так и дикторонезависимых наборов данных. Максимальное значение метрики «точность» составило 60,93%, а метрики ROC-AUC 0.813832 для стороннего набора данных. Исследовано влияние фильтрации сигналов электроэнцефалограмм на точность классификации. Проведено сравнение эффективности работы моделей диффузионных нейронных сетей с эффективностью работы с классической моделью сверточной нейронной сети.

Практическая значимость. Исследование вносит значительный практический вклад в работу по совершенствованию технологий в области разработки интерфейсов «мозг–компьютер», так как исследованы новые варианты построения классификаторов на основе моделей диффузионных нейронных сетей. Благодаря проведенным вычислительным экспериментам и их анализу был сделан ряд выводов и рекомендаций, которые позволят разрабатывать более качественные классификаторы моторных образов в интерфейсах «мозг–компьютер».

Журавлёв Д.В., Голубинский А.Н., Толстых А.А., Резниченко А.А. Исследование эффективности классификаторов моторных образов, построенных с применением диффузионных моделей искусственных нейронных сетей // Биомедицинская радиоэлектроника. 2025. T. 28. № 1. С. 18−37. DOI: https://doi.org/10.18127/j15604136-202501-02

1. Официальный сайт проекта Neuralink. URL: https://neuralink.com/ (дата обращения: 16.09.2024).
2. Pfurtscheller G., Neuper C. Motor imagery and direct brain-computer communication // Proceedings of the IEEE. 2001. V. 89. № 1. P. 1123–1134.
3. Brodu N., Lotte F., Lécuyer A. Exploring Two Novel Features for EEG-based Brain-Computer Interfaces: Multifractal Cumulants and Predictive Complexity // Neurocomputing. 2010. V. 79. № 2. P. 87–94.
4. Nambiar A., Sivakumar R., Subramaniam S. Detection of Four Class Motor Imagery from EEG Signal for Brain-Computer Interface Applications // Applied Mathematics, Modeling and Computer Simulation. 2023. V. 42. P. 881–894.
5. Kabir M.H., Akhtar N.I., Tasnim N., Miah A.S.M., Lee H.-S., Jang S.-W., Shin J. Exploring Feature Selection and Classification Techniques to Improve the Performance of an Electroencephalography-Based Motor Imagery Brain-Computer Interface System. Sensors. 2024. V. 24. № 15. 4989.
6. Lu Y., Wang W., Lian B., He C. Feature Extraction and Classification of Motor Imagery EEG Signals in Motor Imagery for Sustainable Brain–Computer Interfaces // Sustainability. 2024. V. 16. № 15. 6627.
7. Xue K., Yang J., Yao F. Optimal Linear Discriminant Analysis for High-Dimensional Functional Data. Journal of the American Statistical Association. 2023. V. 119. P. 1055–1064.
8. Gupta D., Gupta U., Sarma H. Functional iterative approach for Universum-based primal twin bounded support vector machine to EEG classification (FUPTBSVM). Multimedia Tools and Applications. 2023. V. 83. № 8. P. 1–33.
9. Hazarika D., Gupta D., Kumar B. EEG Signal Classification Using a Novel Universum-Based Twin Parametric-Margin Support Vector Machine. Cognitive Computation. 2023. V. 16. P. 2047–2062.
10. Ganaie M., Tanveer M., Jangir J. EEG signal classification via pinball universum twin support vector machine. Annals of Operations Research. 2022. V. 328. P. 451–492.
11. Echtioui A., Mlaouah A., Zouch W., Ghorbel M., Mhiri C., Hamam H. A Novel Convolutional Neural Network Classification Approach of Motor-Imagery EEG Recording Based on Deep Learning. Appl. Sci. 2021. V. 11. № 21. 9948.
12. Uyulan C. Development of LSTM&CNN based hybrid deep learning model to classify motor imagery tasks. Communications in Mathematical Biology and Neuroscience. 2021. Article ID. 4 P. 1–26.
13. Aung H.W., Li J.J., An Y., Su S.W. EEG_RL-Net: Enhancing EEG MI Classification through Reinforcement Learning-Optimised Graph Neural Networks. arXiv.org. 2024. URL: http://arxiv.org/abs/2405.00723 (дата обращения: 17.09.2024).
14. Tayeb Z., Fedjaev J., Ghaboosi N., Richter C., Everding L., Qu X., Wu Y., Cheng G., Conradt J. Validating Deep Neural Networks for Online Decoding of Motor Imagery Movements from EEG Signals // Sensors. 2019. V. 19. № 1. 210.
15. Куркин С.А., Пицик Е.Н., Храмов А.Е. Использование искусственных нейронных сетей для классификации электрической активности головного мозга в процессе воображения движений у нетренированных испытуемых // Информационно-управ­ляющие системы. 2019. № 6. C. 77–84.
16. Ai Y., Rajendran B. A Convolutional Spiking Network for Gesture Recognition in Brain-Computer Interfaces // arXiv.org. 2023. URL: http://arxiv.org/abs/2304.11106 (дата обращения: 19.09.2024).
17. Uyulan C. Development of LSTM&CNN based hybrid deep learning model to classify motor imagery tasks // Communications in Mathematical Biology and Neuroscience. 2021. Article ID. 4. P. 1–26.
18. Aung H.W., Li J.J., An Y., Su S.W. EEG_RL-Net: Enhancing EEG MI Classification through Reinforcement Learning-Optimised Graph Neural Networks // arXiv.org. 2024. URL: http://arxiv.org/abs/2405.00723 (дата обращения: 17.09.2024).
19. Dhariwal P., Nichol A. Diffusion Models Beat GANs on Image Synthesis. In: M. Ranzato, A. Beygelzimer, Y. Dauphin, P.S. Liang, J. Wortman Vaughan (eds.) NIPS '21: Proceedings of the 35th International Conference on Neural Information Processing Systems, 6–14 December 2021, NY, United States. 2024. Curran Associates Inc. Article No. 672. P. 8780–8794.
20. Saharia C., Chan W., Saxena S., Lit, L., Whang J., Denton, E., Ghasemipour S.-K.-S., Ayan B.-K., Mahdavi S.-S., Gontijo-Lopes R., Salimans T., Ho J., J Fleet D., Norouzi M. Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding. In:
    S. Koyejo, S. Mohamed, A. Agarwal, D. Belgrave, K. Cho, A. Oh (eds.) NIPS'22: 36th International Conference on Neural Information Processing Systems, 28 November – 9 December 2022, New Orleans, LA, USA. 2024. jmlr.org. Article No. 2643. P. 36479–36494.
21. Scheider F. ArchiSound: audio generation with diffusion, Master's thesis, ETH Zurich. 2023.
22. Liu H., Chen Z., Yuan Y., Mei X., Liu X., Mandic D., Wang W., Plumbley M.-D. AudioLDM: Text-to-Audio Generation with Latent Diffusion Models. In: A. Krause, E. Brunskill, K. Cho, B. Engelhardt, S. Sabato, J. Scarlett (eds.) ICML'23: Proceedings of the
    40th International Conference on Machine Learning, 23–29 July 2023, Honolulu, Hawaii, USA. 2023. jmlr.org. Article № 886. P. 21450–21474.
23. Rasul K., Seward C., Schuster I., Vollgraf R. Autoregressive Denoising Diffusion Models for Multivariate Probabilistic Time Series Forecasting. In: M. Meila, T. Zhang (eds.) Proceedings of the 38th International Conference on Machine Learning (ICML 2021), 18–24 July 2021. Virtual. P. 8857–8868.
24. Tosato G., Dalbagno C.M., Fumagalli F. EEG Synthetic Data Generation Using Probabilistic Diffusion Models // arXiv.org. 2023. URL: http://arxiv.org/abs/2303.06068 (дата обращения: 17.09.2024).
25. Schalk G., J McFarland D., Hinterberger T., Birbaumer N., R Wolpaw J. BCI2000: a general-purpose brain-computer interface (BCI) system. In: IEEE Trans Biomed Eng, Jun 2004. V. 51. № 6. P. 1034–1043. DOI: 10.1109/TBME.2004.827 072
26. Официальный сайт проекта OpenBCI. URL: https://openbci.com (дата обращения: 11.09.2024).
27. Ho J., Jain A., Abbeel P. Denoising Diffusion Probabilistic Models. In: H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan, H. Lin (eds.) NIPS'20: 34th International Conference on Neural Information Processing Systems, 6–12 December 2020, Vancouver, Canada. Curran Associates Inc. Article № 574. P. 6840–6852.
28. Kingma D.P., Welling M. Auto-Encoding Variational Bayes. arXiv.org. 2022. URL: http://arxiv.org/abs/1312.6114 (дата обращения: 17.09.2024).
29. Nichol A., Dhariwal P. Improved Denoising Diffusion Probabilistic Models. arXiv.org. 2021. URL: https://arxiv.org/abs/2102.09672v1 (дата обращения: 10.09.2024).
30. Sutter T.M., Daunhawer I., Vogt J.E. Generalized Multimodal ELBO. arXiv.org. 2021. URL: https://arxiv.org/abs/2105.02470 (дата обращения: 10.01.2024).
31. Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. М.: «ДМКПресс». 2017. 652 c.
32. Sohl-Dickstein J. et al. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. arXiv.org. 2015. URL: https://arxiv.org/abs/ 1503.03585 (дата обращения: 10.09.2024).
33. Kingma D.P., Ba J. Adam: A Method for Stochastic Optimization. In: Y. Bengio, Y. LeCun (eds.) International Conference on Learning Representations, ICLR 2014, 14–16 April 2014, San Diego, USA. arXiv. P. 1–15. DOI: 10.48550/arXiv.1412.6980
34. Хайкин Л.А. Нейронные сети. Полный курс. 2-е изд. Москва: Издательский дом «Вильямс», 2006. 1104 c.
35. Yan T., Zhang H., Zhou T., Zhan Y., Xia Y. ScoreGrad: Multivariate Probabilistic Time Series Forecasting with Continuous Energy-based Generative Models. To be published in CoRR. arXiv.org. 2021. URL: https://arxiv.org/abs/2106.10121 (дата обращения: 23.09.2024).
36. Koa K.-J.-L., Ma Y., Ng R., Chua T.-S. Diffusion Variational Autoencoder for Tackling Stochasticity in Multi-Step Regression Stock Price Prediction. In: I. Frommholz, F. Hopfgartner, M. Lee, M. Oakes (eds.) CIKM '23: Proceedings of the 32nd ACM International Conference on Information and Knowledge Management, 21–25 October 2023, Birmingham United Kingdom. Association for Computing Machinery. P. 1087–1096. https://doi.org/10.1145/3583780.3614844
37. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.-N., Kaiser Ł., Polosukhin I. Attention is All you Need. In:
    I. Guyon, U. Von Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, R. Garnett (eds.) Advances in Neural Information Processing Systems 30 (NeurIPS 2017), 2017. Curran Associates Inc. P. 1–11.
38. Oord van den A., Dieleman S., Zen H., Simonyan K., Vinyals O., Graves A., Kalchbrenner N., Senior A., Kavukcuoglu K. WaveNet: A Generative Model for Raw Audio. In: Alan W. Black (eds.) The 9th ISCA Speech Synthesis Workshop, SSW 2016, Sunnyvale, CA, USA, September 13–15, 2016. Article № 125. P. 1–15. DOI: 10.48550/arXiv.1609.03499
39. Kong Z., Ping W., Huang J., Zhao K., Catanzaro B. DiffWave: A Versatile Diffusion Model for Audio Synthesis. In: ICLR 2021 Conference, 12 Jan 2021, Virtual. Article No. 1087. P. 1–17. DOI: 10.48550/arXiv.2009.09761
40. Vahdat A., Kautz J. NVAE: A Deep Hierarchical Variational Autoencoder. In: H. Larochelle, M. Ranzato, R. Hadsell, M.F. Balcan,
    H. Lin (eds.) Advances in Neural Information Processing Systems 33 (NeurIPS 2020). 2020. Curran Associates Inc. P. 19667–19679.
41. Попов Е.Ю., Фоменков С.А. Детектирование событий движения руки в сигналах ЭЭГ головного мозга с помощью сверточных нейронных сетей // Известия Волгоградского государственного технического университета. 2016. № 1 (33). С. 62–67.