А.Ю. Вирясова1, Д.И. Климов2, О.Е. Хромов3, И.Р. Губайдуллин4, В.В. Орешко5

1−5 АО «Российские космические системы» ФКА «Роскосмос» (Москва, Россия)

Постановка задачи. Применение нейронных сетей на борту космического аппарата для принятия решения и выдачи разовых команд является очень перспективным направлением, так как это дает возможность анализировать большой поток данных в режиме реального времени без обращения к наземной станции и, следовательно, без потери информации при передаче пакета данных. Наиболее эффективными являются сложные вычислительные ансамблевые методы обнаружения объектов, которые обычно объединяют свойства изображения низкого уровня (кривизна кривой, описывающей края объекта, края изображения и т.д.) с его свойствами высокого уровня (форма объекта).

Цель. Провести исследование эффективного применения современных моделей нейронных сетей, а также показать их использование в задаче обнаружения объектов и анализе элементной базы для аппаратной реализации при дальнейшем применении сверточных нейронных сетей в термо-видеотелеметрии на борту космического аппарата.

Результаты работы. Сформулирован подход к обнаружению объектов, объединяющий две ключевые идеи: 1) применение сверточных нейронных сетей с высокой пропускной способностью для нисходящей обработки областей изображения для локализации и сегментирования объектов; 2) предварительное обучение для вспомогательной задачи с последующей тонкой настройкой предметной области. Рассмотрена эффективность предварительного обучения сети для вспомогательной задачи с последующей тонкой настройкой предметной области, дающей значительное повышение производительности в случае, когда обучающих данных недостаточно. Показано, как можно повысить среднюю точность обнаружения объектов на изображении более чем на 30%. Приведен анализ существующей элементной базы и рассмотрены возможности аппаратной реализации нейронных сетей на борту космического аппарата с использованием электрорадиоизделий отечественного и иностранного производства. 

Практическая значимость. Представленный подход к обнаружению объектов повышает среднюю точность их обнаружения более чем на 30%.

Вирясова А. Ю., Климов Д.И., Хромов О.Е., Губайдуллин И.Р., Орешко В.В. Анализ возможности применения сверточных нейронных сетей и их аппаратной реализации для задачи термо-видеотелеметрии // Радиотехника. 2021. Т. 85. № 9. С. 115−126. DOI: https://doi.org/10.18127/j00338486-202109-11

1. Гиршик Росс Джефф, Даррелл Донахью Тревор, Малик Джитендра. Калифорнийский университет в Беркли: Многофункциональные иерархии для точного обнаружения объектов и семантической сегментации. 2014.
2. Лоу Д. Отличительные особенности изображения от масштабно-инвариантных ключевых точек. IJCV. 2004.
3. Далал Н., Триггс Б. Гистограммы ориентированных градиентов для обнаружения человека. CVPR. 2005.
4. Фукусима К. Неокогнитрон: модель самоорганизующейся нейронной сети для механизма распознавания образов, на который не влияет изменение положения // Биологическая кибернетика. 1980. Т. 36. № 4. С. 193–202.
5. Ле Кун Ю., Ботту Л., Бенжио Ю., Хаффнер П. Применение градиентного обучения для распознавания документов // Proc. IEEE. 1998.
6. Крижевский А., Суцкевер И., Хинтон Г. Классификация Image Net с глубокими сверточными нейронными сетями. НИПС. 2012.
7. Дэн Дж., Берг А., Сатиш С., Су Х., Хосла А., Фей-Фей Л. Конкурс по крупномасштабному визуальному распознаванию Image Net. 2012 (ILSVRC2012). http://www.image-net.org/ issues / LSVRC / 2012 /.
8. Deng J., Dong W., Socher R., Ли L.-J., Ли К., Фей-Фэй Л. Image Net: крупномасштабная база данных иерархических изображений. CVPR. 2009.
9. Сегеди Ч., Тошев А., Эрхан Д. Глубокие нейронные сети для обнаружения объектов. НИПС. 2013.
10. Роули Х.А., Балуджа С., Канаде Т. Обнаружение лиц на основе нейронной сети. ТПАМИ. 1998.
11. Vaillant R., Monrocq C., Le Cun Y. Оригинальный подход к локализации объектов на изображениях // IEE Proc. on Vision, Image and Signal Processing. 1994.
12. Гу К., Лим Дж.Дж., Арбелез П., Малик Дж. Распознавание по регионам. CVPR. 2009.
13. Уиджлингс Дж., ван де Санде К., Геверс Т., Смелдерс А. Выборочный поиск для распознавания объектов. IJCV. 2013.
14. Каррейра Дж., Сминчиеску К. CPMC: автоматическая сегментация объектов с использованием параметрических ограниченных разрезов. TPA
15. Серманет П., Кавукчуоглу К., Чинтала С., Ле Кун Ю. Обнаружение пешеходов с неконтролируемым многоступенчатым обучением функций. CVPR. 2013.
16. Фельценшвалб П., Гиршик Р., Макаллестер Д., Раманан Д. Обнаружение объектов с помощью детективно-обученных моделей на основе деталей. ТПАМИ, 2010.
17. Гиршик Р., Фельценшвалб П., Макаллестер Д. Дискриминационно обученные модели деформируемых деталей. Вып. 5. http: //www.cs. berkeley.edu/˜rbg/latent-v5/.
18. Эндрес И., Хойем Д. Предложения по независимым от категории объектам. ECCV. 2010.
19. Арбелаес П., Понт-Тусет Дж., Бэррон Дж., Маркес Ф., Малик Дж. Многомасштабная комбинаторная группировка. CVPR. 2014.
20. Цзя Ю. Caffe: сверточная архитектура с открытым исходным кодом для быстрого встраивания функций. 2013. http://caffe.berkeleyvision.org/. 
21. Вирясова А.Ю., Гладких А.А. Анализ предметной области и разработка базы данных для реализации дефектоскопии интегральных структур // Сб. трудов Междунар. молодежной науч.-технич. конф. «Наукоемкие технологии и интеллектуальные системы. 2018.
22. Климов Д.И. Видеотелеметрический контроль промышленных изделий. М.: Физматлит. 2018. Т. 5. Вып. 2. С. 89−98.
23. Грибачев В. Элементная база аппаратных реализаций нейронных сетей // Компоненты и технологии. 2006. № 8.