Сегметрация объектов на спутниковых изображениях с использованием сверточных нейронных сетей

В.В. Хрящев; А.Л. Приоров; В.А. Павлов; Л.И. Ивановский

Сегметрация объектов на спутниковых изображениях с использованием сверточных нейронных сетей

В.В. Хрящев¹, А.Л. Приоров², В.А. Павлов³, Л.И. Ивановский⁴

научная статья УДК 621.396 Страницы: 82-90

¹ к.т.н., доцент, Ярославский государственный университет им. П.Г. Демидова
² д.т.н., доцент, Ярославский государственный университет им. П.Г. Демидова
^3,4 аспирант, Ярославский государственный университет им. П.Г. Демидова

Ключевые слова: Сверточные нейронные сети сегментация изображений спутниковые снимки детектирование компьютерное зрение

Аннотация

Постановка проблемы. Задача анализа данных на снимках дистанционного зондирования земли является актуальной для большого числа прикладных задач, которые могут быть автоматизированы с помощью применения алгоритмов компьютерного зрения. В исследовании применялись снимки со спутниковых группировок Landsat-8 и PlanetScope с разрешением 30 м/пиксель и 3 м/пиксель соответственно. Обучение нейронных сетей производилось на разметке DSTL и собственном наборе изображений территории Российской Федерации, размеченном независимыми экспертами. Первый эксперимент содержит сравнение трех нейронных сетей TLinkNet, SegNet и U-Net через коэффициент Серенсена. Наилучший результат получен с использованием алгоритма U-Net, где значение коэффициента Серенсена составило 0,75 против 0,45 у SegNet и 0,68 у TLinkNet. Для улучшения точности сегментации произведено смешение двух наборов изображений с разным графическим разрешением. Также в работе приводится анализ современных датасетов спутниковых снимков с разметкой на 21 класс объектов, которые могут применяться для обучения алгоритмов компьютерного зрения.

Цель. Сравнить современные нейросетевые подходы по сегментации спутниковых изображений и создать алгоритм сегментации трех классов объектов: «водные ресурсы», «сельское хозяйство» и «лес».

Результаты. Выбранный подход позволил повысить точность выделения границ объектов на 18,28%. Наилучшая точность сегментации достигнута на классе «сельское хозяйство», составив 96,31% на изображениях PlanetScope.

Практическая значимость. Создан сегментирующий алгоритм трех классов объектов на основе алгоритма U-Net. Полученный алгоритм может быть использован в задачах точного землепользования, градостроительства и в задачах охраны природных ресурсов, а также являться основой для создания систем принятия решений на базе анализа спутниковых снимков.

Для цитирования

Хрящев В.В., Приоров А.Л., Павлов В.А., Ивановский Л.И. Сегметрация объектов на спутниковых изображениях с использованием сверточных нейронных сетей // Наукоемкие технологии. 2024. № 2. С. 82–90.

Список источников

Сайфеддин Д., Булгаков А.Г., Круглова Т.Н. Нейросетевая система отслеживания местоположения динамического агента на базе квадрокоптера // Инженерный вестник Дона. 2014. № 1. URL: ivdon.ru/magazine/archive/n1y2014/2293.
Плуготаренко Н.К., Варнавский А.Н. Применение нейронных сетей для построения модели прогнозирования состояния городской воздушной среды // Инженерный вестник Дона. 2012. № 4-2. URL: ivdon.ru/magazine/archive/n4p2y2012/1351.
Соловьев Р.А., Тельпухов Д.В., Кустов А.Г. Автоматическая сегментация спутниковых снимков на базе модифицированной сверточной нейронной сети UNET // Инженерный вестник Дона. 2017. № 4. URL: http://ivdon.ru/ru/magazine/ archive/ n4y2017/4433.
Khryashchev V., Ivanovsky L., Pavlov V., Ostrovskaya A., Rubtsov A. Comparison of Different Convolutional Neural Network Architectures for Satellite Image Segmentation // 23rd Conference of Open Innovations Association (FRUCT). 2018. P. 172–179.
Khryashchev V., Pavlov V., Priorov A., Ostrovskaya A. Deep learning for region detection in high-resolution aerial images // IEEE East-West Design & Test Symposium (EWDTS). 2018. P. 1–5.
Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Arxiv.Org. 2015. URL: arxiv.org/abs/1505.04597.
Goodfellow Y., Bengio Y., Courville A. Deep Learning // The MIT Press. 2016. P. 800.
Van Etten A. You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery. URL: https://arxiv.org/abs/1805. 09512.
LandSat Database [Электронный ресурс]. URL: https://landsat.visibleearth.nasa.gov.
ImageNet Database [Электронный ресурс]. URL: http://www.image-net.org.
DeepGlobe. CVPR 2018 – Satellite Challenge [Электронный ресурс]. URL: http://deepglobe.org.
Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation. CoRR, abs/1411.4038. 2014. URL: https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf.
Ohleyer S. Building segmentation on satellite images. URL: https://project.inria.fr/aerialimagelabeling/files/2018/ 01/fp_ohleyer_compressed.pdf.
Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention (MICCAI). Springer, LNCS. 2015. V. 9351. P. 234–341.
Basu S., Ganguly S., Mukhopadhyay S., DiBiano R., Karki M., Nemani R. DeepSat A Learning framework for Satellite Imagery. URL: https://bit.csc.lsu.edu/~saikat/publications/sigproc-sp.pdf.
Chhor G., Aramburu C.B. Satellite Image Segmentation for Building Detection using U-net. URL: http://cs229.stanford.edu/ proj2017/final-reports/5243715.pdf.
Maggiori E., Tarabalka Y., Charpiat G., Alliez P. Can Semantic Labeling Methods Generalize to Any City? The Inria Aerial Image Labeling Benchmark // IEEE International Geoscience and Remote Sensing Symposium (IGARSS). 2017.
DSTL Satellite Imagery Feature Detection. Режим доступа: https://www.kaggle.com/c/dstl-satellite-imagery-feature-detection.
Ronneberger O., Fischer P., Brox T. U-Net: convolutional networks for biomedical image segmentation // Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS. 2015. V. 9351: P. 234–241.
Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. V. 39(12). P. 2481–2495.
Chaurasia A., Culurciello E. LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation // IEEE Visual Communications and Image Processing (VCIP). 2017. URL: https://arxiv.org/pdf/1707.03718.pdf.

[1] Сайфеддин Д., Булгаков А.Г., Круглова Т.Н. Нейросетевая система отслеживания местоположения динамического агента на базе квадрокоптера // Инженерный вестник Дона. 2014. № 1. URL: ivdon.ru/magazine/archive/n1y2014/2293.

[2] Плуготаренко Н.К., Варнавский А.Н. Применение нейронных сетей для построения модели прогнозирования состояния городской воздушной среды // Инженерный вестник Дона. 2012. № 4-2. URL: ivdon.ru/magazine/archive/n4p2y2012/1351.

[3] Соловьев Р.А., Тельпухов Д.В., Кустов А.Г. Автоматическая сегментация спутниковых снимков на базе модифицированной сверточной нейронной сети UNET // Инженерный вестник Дона. 2017. № 4. URL: http://ivdon.ru/ru/magazine/ archive/ n4y2017/4433.

[4] Khryashchev V., Ivanovsky L., Pavlov V., Ostrovskaya A., Rubtsov A. Comparison of Different Convolutional Neural Network Architectures for Satellite Image Segmentation // 23rd Conference of Open Innovations Association (FRUCT). 2018. P. 172–179.

[5] Khryashchev V., Pavlov V., Priorov A., Ostrovskaya A. Deep learning for region detection in high-resolution aerial images // IEEE East-West Design & Test Symposium (EWDTS). 2018. P. 1–5.

[6] Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Arxiv.Org. 2015. URL: arxiv.org/abs/1505.04597.

[7] Goodfellow Y., Bengio Y., Courville A. Deep Learning // The MIT Press. 2016. P. 800.

[8] Van Etten A. You Only Look Twice: Rapid Multi-Scale Object Detection In Satellite Imagery. URL: https://arxiv.org/abs/1805. 09512.

[9] LandSat Database [Электронный ресурс]. URL: https://landsat.visibleearth.nasa.gov.

[10] ImageNet Database [Электронный ресурс]. URL: http://www.image-net.org.

[11] DeepGlobe. CVPR 2018 – Satellite Challenge [Электронный ресурс]. URL: http://deepglobe.org.

[12] Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation. CoRR, abs/1411.4038. 2014. URL: https://people.eecs.berkeley.edu/~jonlong/long_shelhamer_fcn.pdf.

[13] Ohleyer S. Building segmentation on satellite images. URL: https://project.inria.fr/aerialimagelabeling/files/2018/ 01/fp_ohleyer_compressed.pdf.

[14] Ronneberger O., Fischer P., Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation // Medical Image Computing and Computer-Assisted Intervention (MICCAI). Springer, LNCS. 2015. V. 9351. P. 234–341.

[15] Basu S., Ganguly S., Mukhopadhyay S., DiBiano R., Karki M., Nemani R. DeepSat A Learning framework for Satellite Imagery. URL: https://bit.csc.lsu.edu/~saikat/publications/sigproc-sp.pdf.

[16] Chhor G., Aramburu C.B. Satellite Image Segmentation for Building Detection using U-net. URL: http://cs229.stanford.edu/ proj2017/final-reports/5243715.pdf.

[17] Maggiori E., Tarabalka Y., Charpiat G., Alliez P. Can Semantic Labeling Methods Generalize to Any City? The Inria Aerial Image Labeling Benchmark // IEEE International Geoscience and Remote Sensing Symposium (IGARSS). 2017.

[18] DSTL Satellite Imagery Feature Detection. Режим доступа: https://www.kaggle.com/c/dstl-satellite-imagery-feature-detection.

[19] Ronneberger O., Fischer P., Brox T. U-Net: convolutional networks for biomedical image segmentation // Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS. 2015. V. 9351: P. 234–241.

[20] Badrinarayanan V., Kendall A., Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2017. V. 39(12). P. 2481–2495.

[21] Chaurasia A., Culurciello E. LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation // IEEE Visual Communications and Image Processing (VCIP). 2017. URL: https://arxiv.org/pdf/1707.03718.pdf.

Аннотация

Для цитирования

Похожие статьи