T.K. Biryukova – Ph.D.(Phys.-Math.), Senior Research Scientist, SPIN-code: 4318-5250 

Постановка проблемы. Необходимо разработать способ применения интегродифференциальных параболических сплайнов (ИД-сплайнов) в качестве функций активации в нейронных сетях (нейросетях). Параболический ИД-сплайн в качестве функции активации повышает точность результатов работы нейросети по сравнению с общеизвестными ненастраиваемыми функциями активации за счет того, что коэффициенты сплайна содержат обучаемые параметры. Функция активации в виде параболического ИД-сплайна меняется в процессе обучения так, чтобы минимизировать функцию потерь, что позволяет эффективно использовать сети более простой архитектуры (с меньшим числом слоев, нейронов), чем при неизменяемых функциях активации. Это сокращает время обучения и повышает скорость работы нейросети в режиме эксплуатации.

Цель. Рассмотреть метод применения параболического ИД-сплайна в качестве функции активации в полносвязной нейронной сети и указать возможности использования этого сплайна при построении нейронных сетей различных типов.

Результаты. Разработан метод применения параболического ИД-сплайна в качестве функции активации в полносвязной нейронной сети и указаны возможности использования такого сплайна в нейросетях различных типов. Показано, что предлагаемый метод позволяет заменять стандартные функции активации на параболические ИД-сплайны в нейросетях с известными архитектурами (например, ResNet). Такая замена не исключает использование предварительно обученных на больших массивах данных весов нейронов, поставляемых производителями программных библиотек для разработки нейросетей. Установлено, что применение ИД-сплайновых функций активации позволяет как оптимизировать работу популярных нейросетей, так и создавать новые нейросети с обучаемыми параметрами функций активации.

Практическая значимость. Функции активации входят в состав практически всех нейросетей, следовательно, параболические ИД-сплайны в качестве функций активации могут эффективно применяться для разработки технологий искусственного интеллекта, в частности, таких как: создание роботов; построение экспертных систем; поиск закономерностей; прогнозирование событий; сжатие и повышение качества данных; систематизация данных; выявление аномалий (например, мошеннических банковских операций); обработка изображений, текстов, речи, звуковых сигналов.

Biryukova T.K. Construction of neural networks of various types using parabolic integrodifferential splines as activation functions. Highly Available Systems. 2020. V. 16. № 4. P. 40−49. DOI: 10.18127/j20729472-202004-03. (In Russian).

1. Sokolov I.A., Budzko V.I., Kalinichenko L.A., Sinitsin I.N., Stupnikov S.A. Razvitie rabot v oblasti «Bolshikh Dannykh» v Rossiiskoi akademii nauk. Sistemy kompyuternoi matematiki i ikh prilozheniya. 2015. № 16. S. 103−110. (In Russian).
2. Budzko V.I. Razvitie sistem vysokoi dostupnosti s primeneniem tekhnologii «Bolshie Dannye». Sistemy vysokoi dostupnosti. 2013. T. 9. № 4. S. 3−15. (In Russian).
3. Kireev V.I., Biryukova T.K. Integrodifferentsialnyi metod obrabotki informatsii i ego primenenie v chislennom analize. M.: IPI RAN. 2014. 267 s. (In Russian).
4. Biryukova T.K., Gershkovich M.M., Kireev V.I. Integrodifferentsialnye mnogochleny i splainy proizvolnoi chetnoi stepeni v zadachakh analiza parametrov funktsionirovaniya raspredelennykh informatsionnykh sistem. Materialy XIII Mezhdunar. nauchnoi konf. «Sistemy kompyuternoi matematiki i ikh prilozheniya» (SKMP-2012), posvyashchennoi 75-letiyu professora E.I. Zverovicha. Smolensk, 18−20 maya 2012. Smolensk: Izd-vo SmolGU. 2012. № 13. S. 67−72. (In Russian).
5. Stechkin S.B., Subbotin Yu.N. Splainy v vychislitelnoi matematike. M.: Nauka. 1976. 248 s. (In Russian).
6. Simone Scardapane, Michele Scarpiniti, Danilo Comminiello and Aurelio Uncini Learning activation functions from data using cubic spline interpolation. URL = https://arxiv.org/pdf/1605.05509.pdf. 2016. 10 p.
7. Samy Sadek, Ayoub Al-Hamadi, Bernd Michaelis, Usama Sayed Image Retrieval Using Cubic Splies Neural Networks. International Journal of Video & Image Processing and Network Security IJVIPNS-IJENS. 2009. V. 9. № 10. P. 5−9.
8. Campolucci P., Capperelli F., Guarnieri S., Piazza F., Uncini A. Neural networks with adaptive spline activation function. Proc. of 8th Mediterranean Electrotechnical Conference on Industrial Applications in Power Systems, Computer Science and Telecommunications (MELECON 96). IEEE. 1996. P. 1442−1445.
9. Lorenzo Vecci, Francesco Piazza, Aurelio Uncini Learning and approximation capabilities of adaptive spline activation function neural networks. Neural Networks. 1998. № 11. P. 259−270.
10. Mariam Abdul-Zahra Raheem, Ehab AbdulRazzaq Hussein Classification of EEG Signals Using Quantum Neural Network and Cubic Spline. INTL Journal of Electronics and Telecommunications. 2016. V. 62. № 4. P. 401−408.
11. Helmut A. Mayer, Roland Schwaiger Evolution of Cubic Spline Activation Functions for Artificial Neural Networks. Progress in Artificial Intelligence Portugal. 2001. P. 63−73.
12. Sholle F. Glubokoe obuchenie na Python. SPb.: Piter. 2018. 400 s. (In Russian).
13. Volkov E.A. Chislennye metody. M.: Nauka. 1982. 254 s. (In Russian).
14. Kireev V.I., Biryukova T.K., Gershkovich M.M. Kvadraturnye i kubaturnye formuly na neregulyarnom shablone. Materialy XV Mezhdunar. nauchnoi konf. «Sistemy kompyuternoi matematiki i ikh prilozheniya» (SKMP-2014).  Smolensk, 16−18 maya 2014. Smolensk: Izd-vo SmolGU. 2014. № 15. S. 157−163. (In Russian).