И.А. Кудинов – аспирант, кафедра ЭВМ, 

Рязанский государственный радиотехнический университет

E-mail: igor.kudinov@mail.ru

М.Б. Никифоров – к.т.н., доцент, кафедра ЭВМ, 

Рязанский государственный радиотехнический университет

E-mail: nikiforov.m.b@evm.rsreu.ru

И.С. Холопов – к.т.н., доцент, кафедра «Радиотехнические системы», 

Рязанский государственный радиотехнический университет E-mail: kholopov.i.s@rsreu.ru

Постановка проблемы: рассмотрена технология сшивки панорамного видео по информации от распределенных разноспектральных камер.

Цель: приведен основанный на предварительной фотограмметрической калибровке камер и робастный к условиям съемки алгоритм формирования управляемой пользователем области интереса.

Результаты: показано, что реализация данного алгоритма на видеоускорителе NVIDIA GeForce GTX 560 Ti с применением технологии CUDA для распараллеливания вычислений позволяет сформировать две независимых области интереса размером не менее 1024×768 пикселей с частотой обновления кадров не менее 30 Гц и реализовать для них функции улучшения видения, в том числе с комплексированием информации от разноспектральных сенсоров.

Практическая значимость: данный алгоритм это обеспечивает уменьшение эффекта смаза образов объектов при движении носителя СТЗ панорамного типа и, следовательно, большую резкость изображений в областях интереса.

1. Бельский А., Жосан Н., Брондз Д., Горбачев К., Гребенщиков В., Каргаев А. Круглосуточная панорамная система технического зрения для вертолетов // Фотоника. 2013. Т. 38. № 2. С. 80−86.
2. Канаева И.А., Болотова Ю.А. Методы коррекции цвета и яркости при создании панорамных изображений // Компьютерная оптика. 2018. Т. 42. № 5. С. 885−897.
3. Обработка изображений в авиационных системах технического зрения / Под ред. Л.Н. Костяшкина и М.Б. Никифорова. М.: ФИЗМАТЛИТ. 2016. 234 c.
4. Ефимов А.И., Костяшкин Л.Н., Логинов А.А., Муратов Е.Р., Никифоров М.Б., Новиков А.И. Обработка изображений в многоспектральных системах технического зрения // Вестник Рязанского государственного радиотехнического университета. 2017. № 60. С. 83−92.
5. Бондаренко А., Бондаренко М. Аппаратно-программная реализация мультиспектральной системы улучшенного видения // Современная электроника. 2017. № 1. С. 32−37.
6. Ллойд Дж. Системы тепловидения: Пер. с англ. / Под ред. А.И. Горячева. М.: Мир. 1978. 414 с.
7. Szeliski R. Image alignment and stitching: a tutorial // Foundations and trends in computer graphics and vision. 2006. V. 2. № 1.
   1. 1−104.
8. Liu Y.-C., Lin K.-Y., Chen Y.-S. Bird’s-eye view vision system for vehicle surrounding monitoring // Proc. of 2nd Int. Workshop on Robot Vision (RobVis 2008). 18−20 February 2008. Auckland. 2008. P. 207−218.
9. Lin C.-C., Wang M.-S. A vision based top-view transformation model for a vehicle parking assistant // Sensors. 2012. V. 12. № 4.
   1. 4431−4446.
10. Li M., Zhao C., Hou Y., Ren M. A new lane line segmentation and detection method based on inverse perspective mapping // Int. J. of digital content technology and its applications. 2011. V. 5. № 4. P. 230−236.
11. Zhou Q.-F., Liu J.-H., Wang X., Sun M.-C. Automatic correction of geometric distortion in aerial zoom squint imaging // Optics and precision engineering. 2015. V. 23. № 10. P. 2927−2942.
12. Laganiere R. Compositing a bird’s eye view mosaic // Proc. of 13th Canadian Conf. on Vision Interface. May 2000. Montreal. 2000.
    1. 382−387.
13. Холопов И.С. Алгоритм коррекции проективных искажений при маловысотной съемке // Компьютерная оптика. 2017. Т. 41. № 2. С. 284−290.
14. Грузман И.С., Киричук В.С., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учеб. пособие. Новосибирск: Изд-во НГТУ. 2002. 352 с.
15. Hartley R., Zisserman A. Multiple view geometry in computer vision. 2nd edition. Cambridge: Cambridge University Press. 2003. 656 р.
16. Челноков Ю.Н. Кватернионные и бикватернионные модели и методы механики твердого тела и их приложения. Геометрия и кинематика движения. М.: ФИЗМАТЛИТ. 2006. 512 с.
17. Kuipers J.B. Quaternions and rotation sequences. A primer with applications to orbits, aerospace, and virtual reality. New Jersey: Princeton University. 1999. 391 p.
18. St-Laurent L., Mikhnevich M., Bubel A., Prevost D. Passive Calibration Board for Alignment of VIS-NIR, SWIR and LWIR Images // Quantitative InfraRed Thermography Journal. 2017. V. 14. № 2. P. 193−205.
19. Brown D.C. Close-range camera calibration // Photogrammetric engineering. 1971. V. 37. № 8. P. 855−866.
20. Luhmann T., Robson S., Kyle S., Boehm J. Close-range photogrammetry and 3D imaging. 2nd edition. Berlin: De Gruyter. 2013. 684 p.
21. Geiger A., Moosmann F., Car O., Schuster B. Automatic camera and range sensor calibration using a single shot // Proc. of IEEE International Conference on Robotics and Automation (ICRA’2012). Saint Paul (Minnesota, USA). 2012. P. 3936−3943.
22. Real-time rendering / Ed. by T. Akenine-Möller, E. Haines, N. Hoffman. 3rd edition. Wellesley: A.K. Peters. 2008. 1045 p.
23. Белокуров В.А. Система угловой ориентации на основе гауссовского парциального фильтра // Вестник Рязанского государственного радиотехнического университета. 2016. № 56. С. 11−16.
24. Белокуров В.А. Применение автоковариационного метода наименьших квадратов в инвариантной схеме угловой ориентации // Вестник Рязанского государственного радиотехнического университета. 2018. № 64. С. 9−16.
25. Бондаренко М.А., Бондаренко А.В. Формирование изображений в мультиспектральных видеосистемах для визуального и автоматического неразрушающего контроля // Успехи прикладной физики. 2018. Т. 6. № 4. С. 325−332.
26. Кудинов И.А., Павлов О.В., Холопов И.С., Храмов М.Ю. Формирование видеопанорамы по информации от разноспектральных камер // Информационные технологии и нанотехнологии // Сб. трудов IV Междунар. конф. и молодежной школы. Самарский национальный исследовательский университет имени академика С.П. Королева. 2018. С. 568−575.
27. Sanders J., Kandrot E. CUDA by example. New York: Addison-Wesley. 2010. 290 p.
28. Jobson D.J., Rahman Z., Woodell G.A. A Multiscale Retinex for bridging the gap between color images and the human observation of scenes // IEEE Trans. on Image Processing. 1997. V. 6. № 7. P. 965−976.