Р.М. Немков - аспирант, кафедра информационных систем и технологий, Северо-Кавказский федеральный университет (г. Ставрополь). E-mail: nemkov.roman@yandex.ru О.С. Мезенцева - к.ф.-м.н., доцент, профессор, кафедра информационных систем и технологий, Северо-Кавказский федеральный университет (г. Ставрополь). E-mail: mos@ncstu.ru

Рассмотрен новый способ по созданию шума на основе изменения рецептивных полей. Известно, что в процессе обучения сверточных нейронных сетей происходит подгонка настраиваемых параметров (ядер) для минимизации функции ошибки. На этот процесс вместе со способом обучения может влиять и количество информации, которое проходит через ядра сети. Показано, что путем создания новых покрытий рецептивных полей для сверточных слоев можно увеличить количество информации, влияющей на ядра, и тем самым выделить лучшие инварианты, что может привести к увеличению обобщающей способности.

 

1. Dean J., Corrado G.S., Monga R., Chen K., Devin M., Le Q.V., Mao M.Z., Ranzato M.A., Senior A., Tucker P., Yang K., Ng A.Y. Large Scale Distributed Deep Networks // NIPS. 2012.
2. Hinton G.E., Srivastava N., Krizhevsky A., Sutskever I., Salakhutdinov R. Improving Neural Networks by Preventing Co-adaptation of Feature Detectors // CoRR. 2012.
3. Wan L., Zeiler M.D., Zhang S., LeCun Y., Fergus R. Regularization of Neural Networks using DropConnect // ICML 3. V. 28 of JMLR Proceedings. P. 1058−1062.
4. LeCun Y., Bottou L., Bengio Y., Haffner P. Gradient-based Learning Applied to Document Recognition // Proceedings of the IEEE. V. 86. P. 2278−2324. 1998.
5. Decoste D., Scholkopf B. Training Invariant Support Vector Machines // Machine Learning Journal. V. 46. № 1−3. 2002.
6. Simard P., Steinkraus D., Platt J.C. Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis // IEEE Computer Society. 2003. ICDAR. P. 958−962.
7. Ciresan D., Meier U., Schmidhuber J. Multicolumn Deep Neural Networks for Image Classification // Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. CVPR-2012. P. 3642−3649. Washington, DC, USA. IEEE Computer Society.
8. Nemkov R., Mezentseva O. The Use of Convolutional Neural Networks with Nonspecific Receptive Fields // The 4-th International Scientific Conference «Applied Natural Science 2013». Novy Smokovec, High Tatras, Slovak Republic, Oktober 2−4, 2013. P. 148.
9. LeCun Y., Boser B., Denker J.S., Henderson D., Howard R.E., Hubbard W., Jackel L.D. Applied to Hadwritten Zip Code Recognitiion // Neural Computation. 1989. V. 1. № 4. P. 541551.
10. Eysel U.T. Pharmacological studies on receptive field architecture. The cat primary visual cortex / Ed. B. Payne, A. Peters. N.Y.: Acad. Press. 2002. P. 427−470.
11. Larochelle H., Erhan D., Courville A., Bergstra J., Bengio Y. An empirical evaluation of deep architectures on problems with many factors of variation // In Twenty-fourth International Conference on Machine Learning (ICML, 2007).
12. Гонсалес Р., Вудс Р. Цифровая обработка изображений. Изд. 3‑е. М.: Техносфера. 2012. 1104 с.
13. Немков Р.М., Мезенцева О.С. Экспериментальное исследование и анализ влияния базовых параметров сверточных нейронных сетей на качество их обучения // Вестник Северо-Кавказского федерального университета. 2013. № 3(36) С. 21−26.
14. Немков Р.М., Мезенцева О.С., Мезенцев Д.В. Исследование влияния воспринимающих свойств сверточных нейронных сетей на качество распознавания паттернов // Инфокоммуникационные технологии в науке, производстве и образовании. 2014. ЧастьII. С. 187−193.
15. Modified National Institute of Standards and Technology (MNIST). URL: http://yann.lecun.com/exdb/mnist/.
16. Гусев А.Л., Черепанов Ф.М., Ясницкий Л.Н. Функциональная предобработка входных сигналов нейронной сети // Нейрокомпьютеры: разработка, применение. 2013. № 5. С. 19−21.
17. Фархадов М.П., Петухова Н.В., Васьковский С.В., Смирнов В.А. Архитектура и характеристика систем распознавания речи // Нейрокомпьютеры: разработка, применение. 2013. № 12. С. 22−30.