А.И. Канев1

1 МГТУ им. Н.Э. Баумана (Москва, Россия)

1 aikanev@bmstu.ru

Постановка проблемы. Большое количество изображений, аудио- и видеозаписей в Интернете требует разработки приложений для их семантического анализа и предоставления пользователям лучших результатов поиска. Современные модели глубокого обучения успешно справляются со многими задачами анализа изображений, видео и других типов данных. Обучение и вывод нейронных сетей чаще всего проводится на языке Python с использованием фреймворков глубокого обучения. Это удобно благодаря наличию большого количества библиотек предобработки различных видов данных. Применение современных веб-технологий (HTML5, WebAssembly, WebGL и др.) позволяет проводить все большую долю вычислений на стороне клиента в браузере. Это экономит ресурсы сервера, ограничивает нагрузку на сеть и обеспечивает приватность данных пользователя. Становится возможным создание распределенных систем с переносом вычислений для предсказаний нейронных сетей в приложения фронтенда на языке JavaScript. Однако, обладая менее производительными процессорами и GPU, клиентские устройства выполняют этот вывод медленнее, в связи с чем требуется сравнить время вывода на разных устройствах и языках программирования.

Цель. Сравнить время выполнения предсказаний моделями глубокого обучения на клиентских и серверных устройствах.

Результаты. Получены данные о времени предсказаний различных вариантов нейронных сетей, сконвертированных в формат ONNX, на примере классификации изображений из набора данных Cifar100. Измерено время выполнения на серверах Google Colab c CPU и GPU, а также на клиентских устройствах с разными CPU в браузере Chrome.

Практическая значимость. Предложенный подход можно использовать для разработки распределенных приложений, для которых важным является обеспечение приватности данных пользователя, а также задержки в сети из-за передачи анализируемых данных на сервер.

Канев А.И. Сравнение производительности моделей глубокого обучения при запуске на клиентском устройстве и в облаке // Нейрокомпьютеры: разработка, применение. 2023. T. 25. № 6. С. 27-36. DOI: https://doi.org/10.18127/j19998554-202306-03

1. Sharma N., Jain V., Mishra A. An analysis of convolutional neural networks for image classification // Procedia computer science. 2018. V. 132. P. 377–384. DOI 10.1016/j.procs.2018.05.198.
2. Correya A., Alonso-Jiménez P., Marcos-Fernández J., Serra X., Bogdanov D. Essentia TensorFlow models for audio and music processing on the web. [Электронный ресурс] – Режим доступа: https://webaudioconf.com/_data/papers/pdf/2021/2021_36.pdf, дата обращения 30.08.2023.
3. Shi Y. An optimizing compiler for ONNX models on heterogeneous systems. [Электронный ресурс] – Режим доступа: https://www.ideals.illinois.edu/items/115784, дата обращения 30.08.2023.
4. Еремеев И.Ю. Неретина К.А., Печурин В.В. Исследование возможности применения сверточной нейронной сети YOLOv5 в комплексах радиомониторинга для обнаружения OFDM сигналов // Электромагнитные волны и электронные системы. 2023. Т. 28. № 3. С. 18–27. DOI 10.18127/j5604128-202303-03.
5. Непомнящий О.В., Хантимиров А.Г., Аль-сагир М.М.И., Шабир С. Использование сверточной нейронной сети при анализе электрокардиограмм // Нейрокомпьютеры: разработка, применение. 2023. T. 25. № 2. С. 58–65. DOI: 10.18127/j19998554-202302-05/
6. Dong C., Li T.Z., Xu K., Wang Z., Maldonado F., Sandler K., Landman B.A., Huo Y. Characterizing browser-based medical imaging AI with serverless edge computing: towards addressing clinical data security constraints // Proceedings of SPIE – the International Society for Optical Engineering. 2023. V. 12469. DOI 10.1117/12.2653626.
7. Zaheer R., Shaziya H. A study of the optimization algorithms in deep learning // Third International Conference on Inventive Systems and Control. Coimbatore, India. 2019. P. 536–539. DOI 10.1109/ICISC44355.2019.9036442.
8. Singla S., Feizi S. Improved deterministic l2 robustness on CIFAR-10 and CIFAR-100 // arXiv:2108.04062. DOI 10.48550/arXiv. 2108.04062
9. Wang F., Jiang M., Qian C., Yang S., Li C., Zhang H., Wang X., Tang X. Residual attention network for image classification // Proceedings of the IEEE conference on computer vision and pattern recognition. 2017. P. 3156–3164.
10. Jin T., Bercea G.T., Le T.D., Chen T., Su G., Imai H., Negishi Y., Leu A., O'Brien K., Kawachiya K., Eichenberger A.E. Compiling onnx neural network models using mlir // arXiv preprint arXiv:2008.08272. 2020.
11. Ben-Nun T., Besta M., Huber S., Ziogas A.N., Peter D., Hoefler T. A modular benchmarking infrastructure for high-performance and reproducible deep learning // IEEE International Parallel and Distributed Processing Symposium. 2019. P. 66–77.
12. Hampau R.M., Kaptein M., Van Emden R., Rost T., Malavolta I. An empirical study on the performance and energy consumption of AI containerization strategies for computer-vision tasks on the edge // Proceedings of the 26th International Conference on Evaluation and Assessment in Software Engineering. 2022. P. 50–59.
13. Lopez-Paz D., Ranzato M.A. Gradient episodic memory for continual learning // Advances in neural information processing systems. 2017.
14. Xu B., Wang N., Chen T., Li M. Empirical evaluation of rectified activations in convolutional network // arXiv preprint arXiv:1505.00853. 2015.
15. Sundstedt A. Investigations of Free Text Indexing Using NLP: Comparisons of Search Algorithms and Models in Apache Solr. [Электронный ресурс] – Режим доступа: https://liu.diva-portal.org/smash/get/diva2:1779267/FULLTEXT02.pdf, дата обращения 30.08.2023.
16. Jajal P., Jiang W., Tewari A., Woo J., Lu Y.H., Thiruvathukal G.K., Davis J.C. Analysis of Failures and Risks in Deep Learning Model Converters: A Case Study in the ONNX Ecosystem // arXiv preprint arXiv:2303.17708. 2023.
17. Microsoft and Facebook create open ecosystem for AI model interoperability | Microsoft Azure Blog. [Электронный ресурс] – Режим доступа: https://azure.microsoft.com/en-us/blog/microsoft-and-facebook-create-open-ecosystem-for-ai-model-interoperabil­ity/, дата обращения 30.08.2023.
18. Sobecki A., Szymański J., Gil D., Mora H. Deep learning in the fog // International Journal of Distributed Sensor Networks. 2019. V. 15. № 8. DOI 10.1177/1550147719867072.
19. Liang Y., Tu Z., Huang L., Lin J. CNNs for NLP in the browser: Client-side deployment and visualization opportunities // Proceedings of the Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations. 2018. P. 61–65. DOI 10.18653/v1/N18-5013.
20. Aly A., Lakhotia K., Zhao S., Mohit M., Oguz B., Arora A., Gupta S., Dewan C., Nelson-Lindall S., Shah R. Pytext: A seamless path from NLP research to production // arXiv preprint arXiv:1812.08729. 2018.
21. Orlando R., Conia S., Brignone F., Cecconi F., Navigli R. AMuSE-WSD: An all-in-one multilingual system for easy Word Sense Disambiguation // Proceedings of the conference on empirical methods in natural language processing: system demonstrations. 2021. P. 298–307. DOI 10.18653/v1/2021.emnlp-demo.34.
22. Csanády B., Lukács A. Dilated Convolutional Neural Networks for Lightweight Diacritics Restoration // arXiv preprint arXiv:2201.06757. 2022.
23. Müller M.N., Brix C., Bak S., Liu C., Johnson T.T. The third international verification of neural networks competition (VNN-COMP 2022): summary and results // arXiv preprint arXiv:2212.10376. 2022.
24. Rodriguez O., Dassatti A. Deep learning inference in GNU Radio with ONNX // Proceedings of the GNU Radio Conference. 2020.
25. Becquin G. End-to-end NLP Pipelines in Rust // Proceedings of Second Workshop for NLP Open Source Software (NLP-OSS). 2020. P. 20–25.
26. Someki M., Higuchi Y., Hayashi T., Watanabe S. ESPnet-ONNX: Bridging a Gap Between Research and Production // Asia-Pacific Signal and Information Processing Association Annual Summit and Conference (APSIPA ASC). 2022. P. 420–427.
27. Sit M., Demir I. Democratizing Deep Learning Applications in Earth and Climate Sciences on the Web: EarthAIHub // Applied sciences. 2023. V. 13. № 5. P. 3185. DOI 10.3390/app13053185.
28. GitHub – chenyaofo/pytorch-cifar-models: Pretrained models on CIFAR10/100 in PyTorch. [Электронный ресурс] – Режим доступа: https://github.com/chenyaofo/pytorch-cifar-models, дата обращения 30.08.2023.