И.С. Марков, Н.В. Пивоварова

Московский государственный технический университет им. Н.Э. Баумана (Москва, Россия)

Постановка проблемы. Рассматривается проблема размещения больших нейронных сетей со сложными архитектурами на современных устройствах. Они качественно работают, но иногда скорость их работы недопустимо низкая и размер памяти, требуемый для их размещения на устройстве, не всегда доступен. Необходимо показать способы решения данных проблем путем применения прунинга и квантизации, а также рассмотреть нетрадиционный вид нейронных сетей, способный удовлетворить требования по занимаемому объему памяти, скорости и качеству работы, а также подходы к обучению такого вида сетей. Цель. Описать современные методы для уменьшения размера нейронных сетей с минимальными потерями качества их работы и предложить альтернативный вид сетей малого размера и высокой точности.

Результаты. Показан вид нейронной сети, обладающий большим числом достоинств с точки зрения размеров и гибкости настройки слоев. Показано, что Варьируя параметрами слоев, можно управлять размером, скоростью и качеством сети, однако, чем больше точность, тем больше и объем занимаемой памяти. Для обучения такой небольшой сети предполагается использовать специфичные техники, позволяющие выучить сложные зависимости на основе более сложной и объемной сети. Установлено, что в результате такой процедуры обучения надо использовать только малую сеть, которую затем можно размещать на маломощных устройствах с небольшим объемом памяти.

Практическая значимость. Описанные методы позволяют применять техники для уменьшения размера сетей с минимальными потерями качества их работы. Предложенная архитектура дает возможность обучать более простые сети, не используя техники сокращения их размера. Данные сети могут работать с различными данными, будь то картинки, текст или иная закодированная в числовой вектор информация.

Марков И.С., Пивоварова Н.В. Методы построения эффективных нейронных сетей для маломощных систем // Динамика сложных систем. 2021. T. 15. № 2. С. 48−56. DOI: 10.18127/j19997493-202102-05

1. Савченков П. Автоматическое распознавание речи на основе визуальной информации [Электронный ресурс]. – Режим доступа: https://core.ac.uk/download/pdf/217173692.pdf (дата обращения: 12.03.2021).
2. Куратов Ю. Специализация языковых моделей для применения к задачам обработки естественного языка [Электронный ресурс]. – Режим доступа: https://mipt.ru/upload/medialibrary/02f/avtoreferat-kuratov.pdf (дата обращения: 12.03.2021).
3. Беляева Л.Н., Откупщикова М.И. Автоматический (машинный) перевод // Прикладная лингвистика. СПб. 1996.
4. Assaf Shocher. Semantic Pyramid for Image Generation [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/2003.06221.pdf (дата обращения 12.03.2021).
5. Tero Karras. A Style-Based Generator Architecture for Generative Adversarial Networks [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/1812.04948.pdf (дата обращения: 12.03.2021).
6. Tom B. Brown. Language Models are Few-Shot Learners [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/ 2005.14165.pdf (дата обращения: 12.03.2021).
7. Benoit Jacob. Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/1712.05877.pdf (режим доступа: 12.03.2021).
8. Davis Blalock. What is the state of neural network pruning? [Электронный ресурс]. – Режим доступа: https://arxiv.org/ pdf/2003.03033.pdf (дата обращения: 12.03.2021).
9. Lei Mao. Quantization for Neural Networks [Электроный ресурс]. – Режим доступа: https://leimao.github.io/article/NeuralNetworks-Quantization/ (дата обращения: 12.03.2021).
10. Brendan McMahan. Federated Learning: Collaborative Machine Learning without Centralized Training Data [Электронный ресурс]. – Режим доступа: https://ai.googleblog.com/2017/04/federated-learning-collaborative.html (дата обращения: 12.03.2021).
11. Bottou Leon. Stochastic Gradient Descent Tricks. Neural Networks: Tricks of the Trade. Volume 7700 2012 of the series Lecture Notes in Computer Science. P. 421–436
12. Qi Wang. A Comprehensive Survey of Loss Functions in Machine Learning [Электронный ресурс]. – Режим доступа: https://link. springer.com/article/10.1007/s40745-020-00253-5 (дата обращения: 12.03.2021).
13. Radečić Dario. Softmax Activation Function Explained [Электронный ресурс]. – Режим доступа: https://towardsdatascience. com/softmax-activation-function-explained-a7e1bc3ad60 (дата обращения: 12.03.2021).
14. Mikolov Tomas. Efficient Estimation of Word Representations in Vector Space [Электронный ресурс]. – Режим доступа: https:// arxiv.org/pdf/1301.3781.pdf (дата обращения: 12.03.2021).
15. Omid Jafari. Experimental Analysis of Locality Sensitive Hashing Techniques for High-Dimensional Approximate Nearest Neighbor Searches [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/2006.11285.pdf (дата обращения: 12.03.2021).
16. Wang J., Learning to hash for indexing big data – A survey, [Электронный ресурс]. – Режим доступа: https://www.bibsonomy. org/bibtex/74152873ceb101bc3a698f88bc6883c6 (дата обращения: 12.03.2021).
17. Wenhu Chen. How Large a Vocabulary Does Text Classification Need? A Variational Approach to Vocabulary Selection [Электронный ресурс]. – Режим доступа: https://www.aclweb.org/anthology/N19-1352.pdf (дата обращения: 12.03.2021).
18. Zhixiang (Eddie)Xu. An alternative text representation to TF-IDF and Bag-of-Words [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/1301.6770.pdf (дата обращения: 12.03.2021).
19. Andow Samantha. Gradient descent: The ultimate optimizer [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/1909. 13371.pdf (дата обращения: 12.03.2021).
20. Chaudhari Pratik. Stochastic gradient descent performs variational inference, converges to limit cycles for deep networks [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/1710.11029.pdf (дата обращения: 12.03.2021).
21. Ruder Sebastian. An overview of gradient descent optimization algorithms [Электронный ресурс]. – Режим доступа: https:// arxiv.org/pdf/1609.04747.pdf (дата обращения: 12.03.2021).
22. Hinton Geoffrey. Distilling the Knowledge in a Neural Network [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/ 1503.02531.pdf (дата обращения: 12.03.2021).
23. Kaiming He. Deep Residual Learning for Image Recognition [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf /1512.03385 .pdf (дата обращения: 12.03.2021).
24. Ashish Vaswani. Attention Is All You Need [Электронный ресурс]. – Режим доступа: https://arxiv.org/pdf/1706.03762.pdf (дата обращения: 12.03.2021).
25. Vladimir Vovk. The fundamental nature of the log loss function [Электронный ресурс]. – Режим доступа: https://arxiv.org/ pdf/1502.06254.pdf (дата обращения: 12.03.2021).
26. Alexei Botchkarev. Performance Metrics (Error Measures) in Machine Learning Regression, Forecasting and Prognostics: Properties and Typology [Электронный ресурс]. – Режим доступа: https://arxiv.org/ftp/arxiv/papers/1809/1809.03006.pdf (дата обращения: 12.03.2021).