В.П. Жалнин1, В. Айгужин2, М.Э. Апаков3, А.М. Панфилкин4

1–4 МГТУ им. Н.Э. Баумана (Москва, Россия)

Постановка проблемы. Современные тенденции развития вычислительных систем характеризуются тем, что скорость работы процессоров на несколько порядков превосходит скорость работы памяти, а объем информации для обработки продолжает расти. Процесс передачи данных между вычислительными блоками и памятью становится главным стопором и «бутылочным горлышком» в различных вычислительных системах. Последние разработки в области вычисления-на-памяти (ВнП) представляют многообещающие решения проблем, связанных, в частности, со сферой машинного обучения. Реализация нейросетевых компонентов на мемристивной основе может обеспечить энергоэффективные нейроморфные вычисления. В статье рассматривается проектирование различных архитектур систем создания нейронных сетей на основе мемристоров, а также обсуждаются потенциальные применения и перспективы нейросетевой системы на основе мемристоров.

Цель. Проанализировать перспективы применения мемристивных технологий в области нейронных сетей, а также сделать обзор современных практических решений на основе мемристоров с применением подхода ВнП.

Результаты. Сделан анализ применения мемристивных технологий для реализации нейросетевой элементной базы. Рассмотрены тенденции сферы развития нейронных сетей, а также аппаратные концепции и физические возможности нейровычислительных систем на основе мемристоров. Показано, что в настоящий момент мемриторные технологии пригодны для создания конкурентоспособных систем на примере конкретных современных решений. Проведено сравнение рассмотренных архитектурных реализаций с традиционными решениями. Даны рекомендации по перспективам дальнейшего развития нейровычислений на основе мемристоров.

Практическая значимость. Результаты работы могут быть использованы для создания различных типов вычислительных систем и построения архитектурных решений на основе мемристорной элементной базы. Приведенные примеры базовых и не только базовых структур и решений на основе мемристоров могут послужить основой для создания будущих перспективных разработок, которые могут быть представлены на потребительском рынке нейроморфных вычислительных комплексов отечественной разработки.

Жалнин В.П., Айгужин В., Апаков М.Э., Панфилкин А.М. Мемристивные технологии для реализации нейросетевой элементной базы // Нейрокомпьютеры: разработка, применение. 2022. T. 24. № 6. С. 53-66. DOI: https://doi.org/10.18127/j19998554-202206-06

1. Рубаков С.В. Современные методы анализа данных // Наука. Инновации. Образование. 2008. Т. 3. № 4. С. 165–176.
2. Гафаров Ф.М., Галимянов А.Ф. Искусственные нейронные сети и приложения: Учеб. пособие. Казань: Изд-во Казан. ун-та. 2018. 121 с.
3. He K., Zhang X., Ren S., Sun J. Deep residual learning for image recognition // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2016. Article № 7780459. P. 770–778.
4. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Advances in Neural Information Processing Systems. 2012. № 2. P. 1097–1105.
5. Girshic R., Donahue J., Darrell T., Malik J. Rich feature hierarchies for accurate object detection and semantic segmentation // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. 2014. Article № 6909475. P. 580–587.
6. Kourou K., Exarchos T.P., Exarchos K.P., Karamouzis M.V., Fotiadis D.I. Machine learning applications in cancer prognosis and prediction // Computational and Structural Biotechnology Journal. 2015. V. 13. P. 8–17.
7. Ismael A.M., Şengür A. Deep learning approaches for COVID-19 detection based on chest X-ray images // Expert Systems with Applications. 2021. V. 164. Article № 114054.
8. Murphy E.A., Ehrhardt B., Gregson C.L. et al. Machine learning outperforms clinical experts in classification of hip fractures // Sci. Rep. 12. 2022. V. 2058. https://doi.org/10.1038/s41598-022-06018-9
9. Fischer T., Krauss C. Deep learning with long short-term memory networks for financial market predictions // European Journal of Operational Research. 2018. V. 270 (2). P. 654–669.
10. Chong E., Han C., Park F.C. Deep learning networks for stock market analysis and prediction: Methodology, data representations, and case studies // Expert Systems with Applications. 2017. V. 83. P. 187–205.
11. Maier H.R., Dandy G.C. Neural networks for the prediction and forecasting of water resources variables: A review of modelling issues and applications // Environmental Modelling and Software. 2000. V. 15 (1). P. 101–124.
12. Voyant C., Notton G., Kalogirou S., Nivet M.-L., Paoli C., Motte F., Fouilloy A. Machine learning methods for solar radiation forecasting // A review Renewable Energy. 2017. V. 105. P. 569–582.
13. Бирюков Г.И., Жалнин В.П., Лаптев Д.В., Репников П.О. Особенности реализации сверточных нейронных сетей на программируемой логической интегральной схеме ARTIX-7 // Нейрокомпьютеры: разработка, применение. 2020. Т. 22. № 3. С. 26–35.
14. Шахнов В.А., Власов А.И., Поляков Ю.А., Кузнецов А.С. Нейрокомпьютеры: архитектура и схемотехника. М.: Изд-во Машиностроение. 2000. Сер. 9 Приложение к журналу «Информационные технологии». 24 с.
15. Власов А.И. Аппаратная реализация нейровычислительных управляющих систем // Приборы и системы. Управление, контроль, диагностика. 1999. № 2. С. 61–65.
16. Власов А.И., Жалнин В.П., Шахнов В.А., Алябьев И.О. Возможности применения перспективной нейросетевой элементной базы на основе неорганических мемристоров // Нейрокомпьютеры и их применение. XVII Всероссийская научная конференция. Тезисы докладов. 2019. С. 242–245.
17. Патент США № 10373051 от 20 октября 2015. Resistive processing unit.
18. Li C., Hu M., Li Y., Jiang H., Ge N., Montgomery E., Zhang J., Song W., Dávila N., Graves C. E., Li Z., Strachan J. P., Lin P., Wang Z., Barnell M., Wu Q., Williams R. S., Yang J. J., Xia Q. Analogue signal and image processing with large memristor crossbars // Nature Electronics. 2018. V. 1. № 1. P. 52–59.
19. Hu M., Graves C.E., Li C., Li Y., Ge N., Montgomery E., Dávila N., Jiang H., Williams R. S., Yang J.J., Xia O., Strachan J.P. Memristor−based analog computation and neural network classifi- cation with a dot product engine // Advanced Materials. 2018. V. 30. № 9. P. 1705914.
20. Vlasov A.I., Prisyazhnuk S.P., Zhalnin V.P. Analysis of memristor modules as an element base of microprocessor control systems: contradictions and prospects // Proceedings –- 2020 International Conference on Industrial Engineering, Applications and Manufacturing, ICIEAM 2020. 2020. № 9111917.
21. Strukov D., Snider G., Stewart D. et al. The missing memristor found // Nature. 2008. V. 453. P. 80–83.
22. Wang Z. et al. Memristors with diffusive dynamics as synaptic emulators for neuromorphic computing // Nat. Mater. 2016. V. 16.
    P. 101–108.
23. Li Y. et al. Ultrafast synaptic events in a chalcogenide memristor // Sci. Rep. 2013. V. 1619.
24. Жалнин В.П., Пигина Д.В., Хабаров Р.А. Мемристивная память в микро и наноэлектронике // Технологии инженерных и информационных систем. 2019. № 4. С. 74–80.
25. Vlasov A.I., Zhalnin V.P., Shakhnov V.A. Methods for improvement of the consistency and durability of the inorganic memristor structures // International Journal of Nanotechnology. 2019. V. 16. № 1-3. P. 187-195
26. Zidan M.A., Strachan J.P., Lu W.D. The future of electronics based on memristive systems // Nat. Electron. 2018. V. 1. P. 22–29.
27. Zahoor F., AzniZulkifli T.Z. & Khanday F.A. Resistive Random Access Memory (RRAM): an Overview of Materials, Switching Mechanism, Performance, Multilevel Cell (mlc) Storage and Modeling and Applications // Nanoscale Res. Lett. 2020. V. 15. P. 90.
28. Xiao T.P., Bennett C.H., Feinberg B., Agarwal S., Marinella M.J. Analog architectures for neural network acceleration based on non-volatile memory // Appl. Phys. 2020. Rev. 7. P. 031301.
29. Irmanova A., James A.P. Multi-level memristive memory with resistive networks // 2017 IEEE Asia Pacific Conference on Postgraduate Research in Microelectronics and Electronics (PrimeAsia). 2017. P. 69–72.
30. Kim H., Sah M.P., Yang C., Chua L.O. Memristor-based multilevel memory in Cellular nanoscale networks and their applications (CNNA) // 2010 12th international workshop on IEEE. 2010. P. 1–6.
31. Sahebkarkhorasani S. A non-destructive crossbar architecture of multilevel memory-based resistor. 2015.
32. Duan S., Hu X., Wang L., Li C. Analog memristive memory with applications in audio signal processing // Science China Information Sciences. 2014. V. 57. № 4. P. 1–15.
33. Rabbani P., Dehghani R., Shahpari N. A multilevel memristor-cmos memory cell as a reram // Microelectronics Journal. 2015.
    V. 46. № 12. P. 1283–1290.
34. Shafiee A. et al. ISAAC: A Convolutional Neural Network Accelerator with In-Situ Analog Arithmetic in Crossbars // 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA). 2016. P. 14–26.
35. Chen Y., Luo T., Liu S., Zhang S., He L., Wang J., Li L., Chen T., Xu Z., Sun N. et al. DaDianNao: A Machine-Learning Supercomputer // Proceedings of MICRO-47. 2014.
36. Chi P. et al. PRIME: A Novel Processing-in-Memory Architecture for Neural Network Computation in ReRAM-Based Main Memory // 2016 ACM/IEEE 43rd Annual International Symposium on Computer Architecture (ISCA). 2016. P. 27–39.
37. Chen T. et al. DianNao: A small-footprint high-throughput accelerator for ubiquitous machine-learning // Proc. ASP-LOS. 2014.
38. Nag A., Balasubramonian R., Srikumar V., Walker R., Shafiee A., Strachan J., Muralimanohar N. Newton: Gravitating towards the physical limits of crossbar acceleration // IEEE Micro 38. 2018. P. 41–49.
39. Ankit A., Hajj I.E., Chalamalasetti S.R., Ndu G., Foltin M., Williams R.S., Faraboschi P., Hwu W.-M.W., Strachan J.P., Roy K., Milojicic D.S. PUMA: A programmable ultra-efficient memristor-based accelerator for machine learning inference // Proceedings of the Twenty-Fourth International Conference on Architectural Support for Programming Languages and Operating Systems (ASPLOS '19). ACM. New York. 2019. P. 715–731.
40. Liu X. et al 2015 Reno: A high-efficient reconfigurable neuromorphic computing accelerator design // 52 ACM/EDAC/IEEE Design Automation Conf. P. 1–6.
41. Bojnordi M.N., Ipek E. Memristive boltzmann machine: a hardware accelerator for combinatorial optimization and deep learning // IEEE Int. Symp. on High Performance Computer Architecture. 2016. P. 1–13.