А.С. Зуев1, Р.А. Исаев2

1,2 МИРЭА – Российский технологический университет (Москва, Россия)
 

Постановка проблемы. На основании краткого обзора базовых концепций организации человеко-компьютерного взаимодействия посредством графических пользовательских интерфейсов (ГПИ), а также технологий дополненной, смешанной и виртуальной реальностей выполнена постановка задачи их интеграции с нейроинтерфейсами (интерфейсами «мозг-компьютер») как с новым видом устройств ввода команд пользователя. Нейроинтерфейсы рассматриваются как перспективная альтернатива указательным координатным устройствам, сенсорным экранам, системам распознавания жестов, речи и направлений взгляда, не требующая выполнения физических действий, а анализирующая: в настоящее время – активность мышц (в том числе лица) и концентрацию внимания пользователя на управлении перемещением объекта; в среднесрочной перспективе – также концентрацию внимания оператора на элементах ГПИ и на требующих выполнения функциональных возможностях программного обеспечения.

Цель. Рассмотреть способ формирования исходных данных для обучения деревьев решений и нейронных сетей, применяемых авторами для интерпретации сигналов головного мозга, регистрируемых неинвазивным нейроинтерфейсом Emotiv Epoc+ в задачах управления горизонтальным и вертикальным перемещением объекта (курсора) на плоскости. Предложенный способ применим также для обучения нейронных сетей и деревьев решений в задачах управления перемещением объекта в пространстве с варьирующейся скоростью.

Результаты. Сформулирована гипотеза о том, что идентификация активностей мозга по диагональным перемещениям объекта может быть обеспечена без выделения соответствующих классов в наборах исходных данных для обучения деревьев решений и нейронных сетей. Представлена общая схема совмещения нейроинтерфейсов с устройствами дополненной, смешанной и виртуальной реальностей. Сделан вывод об универсальности данных технических решений для сред расширенной реальности, а также для сложных многокомпонентных графических пользовательских интерфейсов.

Практическая значимость. Описана уникальная роль нейроинтерфейсов в структуре инструментария человеко-машинного и человеко-компьютерного взаимодействия, обусловленная возможностями как передачи управляющих воздействий от головного мозга аппаратному и программному обеспечению (доступно в настоящее время), так и симуляции сигналов мозгу от органов чувств (будет доступно в среднесрочной перспективе). Обозначены основные направления исследований по работе с нейроинтерфейсами, проводимые в лабораториях Института информационных технологий РТУ МИРЭА.

Зуев А.С., Исаев Р.А. Нейроинтерфейсы – новый инструментарий человеко-компьютерного взаимодействия // Наукоемкие технологии. 2022. Т. 23. № 2. С. 70−82. DOI: https:// doi.org/10.18127/j19998465-202202-07

1. Sharp H., Preece J., Rogers Y. Interaction Design: Beyond Human-Computer Interaction. 5th ed. New York: John Wiley & Sons Ltd., 2019. 636 p.
2. Tidwell J., Brewer С., Valencia A. Designing Interfaces: Patterns for Effective Interaction Design 3rd Edition. Newton: O'Reilly Media, 2020. 302 p.
3. Павлов А.Н., Храмов А.Е. Нейроинтерфейс: как и зачем // Химия и жизнь. 2019. № 12. С. 15–21.
4. Barfield W. Fundamentals of Wearable Computers and Augmented Reality, 2nd Edition. CRC Press, Inc.Subs. of Times Mirror 2000 Corporate Blvd. NW Boca Raton, FLUnited States, 2017. 739 p.
5. Chuah S.H-W. Wearable XR-technology: literature review, conceptual framework and future research directions. International Journal of Technology Marketing. 2019. № 13(3/4). С. 205–259. https://doi.org/10.1504/IJTMKT.2019.104586.
6. Chuah S.H-W. Why and Who Will Adopt Extended Reality Technology? Literature Review, Synthesis, and Future Research Agenda. Working paper, Universiti Sains Malaysia, School of Management, Department of Operation Management. 2019. № 56. https://doi.org/10.2139/ssrn.3300469.
7. Mulla F., Eya E., Ibrahim E., Alhaddad A., Qahwaji R., Abd-Alhameed R. Neurological assessment of music therapy on the brain using Emotiv Epoc. Internet Technologies and Applications (ITA), 2017. https://doi.org/10.1109/ITECHA.2017.8101950.
8. Babini M.H., Vladimir V Kulish, Namazi H. Physiological state and learning ability of students in normal and virtual reality conditions: complexity-based analysis. Journal of Medical Internet Research. 2020. № 22(6). https://doi.org/10.2196/17945.
9. Rajanen D., Mikko R. A Review of Using EEG and EMG Psychophysiological Measurements in User Experience Research. University of Oulu, Information Processing Science, Master’s Thesis, Tewodros Belete Taffese. 2017.
10. Murugappan M., Murugappan S., Gerard C. Wireless EEG signals based neuromarketing system using Fast Fourier Transform (FFT). IEEE 10th International Colloquium on Signal Processing and its Applications; 2014; Kuala Lumpur, Malaysia: IEEE. DOI: 10.1109/CSPA.2014.6805714.
11. Blanco J.A., Vanleer A.C., Calibo T.K., Firebaugh S.L. Single-Trial Cognitive Stress Classification Using Portable Wireless Electroencephalography. Sensors 2019. № 19. P. 499; Sensors 2019. № 19(3). P. 499; https://doi.org/10.3390/s19030499.
12. Zhang S., Yuan S., Huang L., Zheng X., Wu Z., Xu K., Pan G. Human Mind Control of Rat Cyborg’s Continuous Locomotion with Wireless Brain-to-Brain Interface. Scientific Reports 2019. № 9(1). P. 1321. https://doi.org/10.1038/s41598-018-36885-0.
13. Сухов П.А., Чунихин А.О., Шабанов В.В., Шульман В.Д. Нейроинтерфейс: технология «чтения мозга» в повседневной. Вопросы устойчивого развития общества. 2021. № 7. С. 402–408.
14. Morais P., Quintão C., Vieira P. Brain-Computer Interfaces by Electrical Cortex Activity: Challenges in Creating a Cognitive System for Mobile Devices Using Steady-State Visually Evoked Potentials. 7th Doctoral Conference on Computing, Electrical and Industrial Systems (DoCEIS). Costa de Caparica, Portugal. 2016. P. 135–141. https://doi.org/10.1007/978-3-319-31165-4_14.
15. Камешева С.Б. Тенденции развития интерфейсов: социальная робототехника и человеко-машинное взаимодействие // Доклады Адыгской (Черкесской) Международной академии наук. 2020. № 4. С. 25–30. https://doi.org/10.47928/1726-9946-2020-20-4-25-30.
16. Попов А.А. Эргономика пользовательских интерфейсов в информационных системах: учебное пособие. М.: РУСАЙНС. 2016. 312 с.
17. Смирнова А.В. Устройства отображения. Виды мониторов. Учебные материалы // Электронное издание Котовского промышленно-экономического техникума. Котово. 2019.
18. Тханг Н.Т. Алгоритмы распознавания жестов на видеопоследовательностях: Автореф. дисс. … канд. техн. наук: 05.13.11 / [б. и.], 2014. URL: http://vital.lib.tsu.ru/vital/access/manager/Repository/vtls:000469053. (дата обращения 08.01.2022). – Текст: электронный.
19. Марковников Н.М., Кипяткова И.С. Аналитический обзор интегральных систем распознавания речи // Информатика и автоматизация (Труды СПИИРАН). 2018. выпуск 3 (58). https://doi.org/10.15622/sp.58.
20. Поляков Е.Б., Хахина А.М. Тенденции развития пользовательского интерфейса // Наука, образование, инновации: гуманитарные, естественно-научные и технические решения современности: Материалы XXIII Всерос. науч.-практ. конф. Южный университет (ИУБиП). 2020. С. 58–61.
21. Shneiderman B. The future of interactive systems and the emergence of direct manipulation. Behaviour and Information Technology. 1982. № 1(3). P. 237–256, https://doi.org/10.1109/MC.1983.1654471.
22. Smilkov D., Carter S., Sculley D., Viégas F.B., Wattenberg M. Direct-Manipulation Visualization of Deep Networks. Cornell University. Submitted on 12 Aug 2017.
23. Shneiderman B. Direct manipulation: A step beyond programming languages. Computer. 1983. № 16(8). P. 57–69.
24. Kwon B.C., Javed W., Elmgvist N., Yi J.S Direct manipulation through surrogate objects. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. 2011. P. 627–636. https://doi.org/10.1145/1978942.1979033.
25. Папагианнис Х. Дополненная реальность. Все, что вы хотели узнать о технологии будущего. М.: Эксмо. 2019. 288 с.
26. Sosnilo A.V., Kreer M.Y., Petrova V.V. AR/VR technologies in management and education. Upravlenie. 2021. № 2(9). С. 114–124. https://doi.org/10.26425/2309-3633-2021-9-2-114-124.
27. Иванова А.В. Технологии виртуальной и дополненной реальности: возможности и препятствия применения // Стратегические решения и риск-менеджмент. 2018. № 3(108). С. 88–107. https://doi.org/10.17747/2078-8886-2018-3-88-107.
28. Speicher M., Hall B.D., Nebeling M. What is Mixed Reality? In: Proc. of the 2019 CHI Conference on Human Factors in Computing Systems. Glasgow, Scotland, UK. 2019. № 537. P. 1–15. https://doi.org/10.1145/3290605.3300767.
29. Tang Y. M., Au K. M., Lau H. C. W., Ho, G. T. S., Wu C. H. Evaluating the effectiveness of learning design with mixed reality (MR) in higher education. Virtual Reality. 2020. № 24(4). P. 797–807. https://doi.org/10.1007/s10055-020-00427-9.
30. Зуев А.С., Макущенко М.А., Иванов М.Е., Меркулов Е.С. Технологии расширенной реальности – новый компонент промышленной инженерии и производственных систем // Российский технологический журнал. 2020. № 8(4). С. 46–65. https://doi.org/10.32362/2500-316X-2020-8-4-46-65.
31. Milgram P., Kishino F. A Taxonomy of Mixed Reality Visual Displays. IEICE Transactions on Information Systems. 1994. E77-D(12). P. 1321–1329.
32. Азевич А.И. Дополненная реальность и дополненная виртуальность как виды иммерсионных технологий обучения. Continuum. Математика. Информатика. Образование. 2020. № 2(18). С. 79–84. https://doi.org/10.24888/2500-1957-2020-18-2-79-84.
33. Дежина И.Г., Котелевцев Ю.В. Технологии восстановления и расширения ресурсов мозга человека: публичный аналитический доклад. М.: ООО «Лайм». 2020. 256 с.
34. 34 Павлова Л.П. Доминанты деятельного мозга. Системный психофизиологический подход к анализу ЭЭГ. СПб.: Информ-навигатор. 2017. 442 с.
35. Калачева Н.Ю. Магнитоэнцефалография // Физика и медицина: создавая будущее: сборник материалов. 2018. С. 56–58.
36. Харламов Н.Д., Астрелин А.А., Жинжиков К.Н. Зубков А.В., Шурлаева Е.А., Розалиев В.Л. Анализ подходов для реализации программ, работающих с использованием нейроинтерфейса // Программная инженерия: современные тенденции развития и применения: сборник материалов IV Всероссийской научно-практической конференции, посвященной 30-летию создания кафедры программной инженерии. 2020. С. 87–90.
37. Зубков А.В., Каменнов Я.Е., Орлова Ю.А., Розалиев В.Л. Изучение моделей мозговой активности, используя нейроинтерфейс // Инновационные, информационные и коммуникационные технологии. 2019. № 1. С. 187–191.
38. Спешилова Н.В., Андриенко Д.А., Рахматуллин Р.Р., Спешилов Е.А. Анализ и оценка горизонтов применения технологии нейроинтерфейса при реализации концепции «Индустрия 4.0» в конкурирующем мировом экономическом пространстве // Вестник Евразийской науки. 2019. № 2. С. 1–12.
39. Самиева Ф.Ф., Чуфичева Е.А. Нейроинтерфейс: от теории к последним разработкам // Физика и медицина: создавая будущее: сборник материалов II науч.-практ. конф. студентов и молодых учёных научно-образовательного медицинского кластера «Нижневолжский» «Физика и медицина». 2018. С. 287–291.
40. Бодин О.Н., Солодимова Г.А., Спиркин А.Н. Нейроинтерфейс для управления роботизированными устройствами. Измерение. Мониторинг. Управление. Контроль. 2019. № 4(30). С. 70–76. https://doi.org/10.21685/2307-5538-2019-4-8.
41. Кошевая Д.О., Руч Р.О., Кадыков Н.Ю., Камцев В.А., Филипович О.В. Задача использования нейроинтерфейса для управления манипулятором дидактического назначения // Мир компьютерных технологий: сборник статей Всероссийской научно-технической конференции студентов, аспирантов и молодых ученых. 2019. С. 67–71.
42. Лобода Ю.О., Катаев С.Г., Гасымов З.А., Немчанинов А.А. Управление мехатронной рукой с помощью нейроинтерфейса // Электронные средства и системы управления. Материалы докладов Международной научно-практической конференции. 2018. № 1–2. С. 191–192.
43. Zhang G., Davoodnia V., Sepas-Moghaddam A., Zhang Y., Etemad A. Classification of Hand Movements From EEG Using a Deep Attention-Based LSTM Network. IEEE Sensors Journal. 2020. 6 p. https://doi.org/10.1109/JSEN.2019.2956998.
44. Md. A. Mannan Joadder, Myszewski J.J., Rahman M.H., Wang I. A performance-based feature selection technique for subject independent MI based BCI. Health Inf Sci Syst. 2019. № 7(1). 7 p. https://doi.org/10.1007/s13755-019-0076-2.
45. Ji N., Ma. L., Dong H., Zhang X. EEG Signals Feature Extraction Based on DWT and EMD Combined with Approximate Entropy. Brain Sci. 2019. № 9(8). https://doi.org/10.3390/brainsci9080201.
46. Edla D.R., Mangalorekar K., Dhavalikar G., Dodia S. Classification of EEG data for human mental state analysis using Random Forest Classifier. Procedia Computer Science. 2018. № 132. P. 1523–1532. https://doi.org/10.1016/j.procs.2018.05.116.