Г.С. Иванова1, Я.С. Петрова2

1,2 МГТУ им. Н.Э. Баумана (Москва, Россия)

Постановка проблемы. В открытом доступе находятся многотысячные коллекции живописных полотен, из которых можно извлечь новые знания, но ручной анализ силами искусствоведов неэффективен для такого объема данных. Для решения этой проблемы в научных работах широко применяется технология компьютерного зрения, однако в настоящее время нет доступного и точного инструмента для решения задач искусствоведов. В связи с этим необходим анализ существующих методов распознавания картин и выявление проблем, препятствующих разработке требуемого инструмента. В предметной области встречаются различные группы задач: от улучшения работы музеев до исследования восприятия искусства. Большинство из них включает этап систематизации изображений путем создания информативного пространства векторных представлений.

Цель. Исследовать современные методы систематизации живописных полотен с помощью компьютерного зрения для оценки состояния предметной области; выявить перспективные методы и показать их использование в прикладных задачах.

Результаты. Проведено сравнение общедоступных датасетов изобразительного искусства, среди которых выявлены наиболее объемные и часто применяемые для оценки гипотез. Проанализированы существующие подходы к систематизации живописных полотен. Выделен общий для большинства подходов этап – построение пространства векторных представлений. Предлагаемые в научных работах методы создания векторных представлений проанализированы с точки зрения структуры используемых входных данных, особенностей алгоритма обработки, итогового качества распознавания в прикладных задачах и надежности датасетов, на которых были получены оценки точности моделей. Предложена классификация этих методов по группам, отличающаяся от известных аналогов дифференциацией по количеству и полноте информации, которая используется для формирования векторного представления. По итогам анализа сформулированы основные проблемы предметной области, к которым относятся: сильное влияние человеческого фактора и навыков разметчиков на разметку данных; нетождественность нейронного и художественного стилей; ограничение возможности анализа текстуры мазков из-за низкого разрешения изображений; непригодность общеизвестных моделей анализа фото для работы с художественными полотнами. Для снижения влияния человеческого фактора предложено использовать эталонный, верифицированный специалистами, датасет для оценки гипотез. Датасет рекомендовано собирать из изображений в высоком разрешении, чтобы сохранить возможность анализа мазков. Методы формирования векторных представлений с учетом контекста предложены как потенциальное решение для проблем определения художественного стиля и направления.

Практическая значимость. Результаты работы могут быть использованы для создания прикладного программного обеспечения для работы с предметами изобразительного искусства, а также для доработки и создания новых методик систематизации картин. С помощью рекомендованных по результатам анализа датасетов можно получить достоверную и воспроизводимую оценку разрабатываемых методов. Предложенные решения для проблем предметной области могут быть использованы в качестве гипотез по улучшению качества распознавания изображения.

Иванова Г.С., Петрова Я.С. Анализ методов компьютерного зрения для систематизации живописных полотен // Нейрокомпьютеры: разработка, применение. 2022. T. 24. № 6. С. 20-29. DOI: https://doi.org/10.18127/j19998554-202206-02

1. Заляева Л.М. Развитие художественной культуры и современные it-технологии // Материалы Всеросс. научно-практич. конф. «Многогранный мир традиционной культуры и народного художественного творчества» в рамках Всеросс. конкурса AR/VR «Хакатон в сфере культуры». Казань: Казанский гос. ин-т культуры. 2021. С. 254–257.
2. Панов Н.В., Комков И.Б., Савельев А.В., Логинова Н.А. Осознание искусства нейронными сетями, организуемое посредством взаимодействия иммуноэлементов системы с пространством // Нейрокомпьютеры: разработка, применение. 2021.
   Т. 23. № 4. С. 50–62.
3. Лаптева В.И. Цифровизация в музейных исследованиях: на материале коллекции меццо-тинто Екатеринбургского музея изобразительных искусств // Сб. материалов Всеросс. научно-практич. конф. Культурологические чтения – 2020. Культурный код в эпоху глобализации: цифровизация общества и образования (с междунар.). Екатеринбург: Уральский федеральный ун-т им. первого Президента России Б.Н. Ельцина. 2020. С. 198–203.
4. Горбачева А.Г. Искусственный интеллект и современное искусство: новые возможности и вызовы // Человек.RU. 2018.
   № 13. С. 145–154.
5. Achlioptas P. et al. ArtEmis: Affective Language for Visual Art // arXiv preprint at arXiv.2101.07396. 2021.
6. Jenicek T., Chum O. Linking Art through Human Poses // arXiv preprint arXiv.1907.03537. 2019.
7. Hamilton M. et al. MosAIc: Finding Artistic Connections across Culture with Conditional Image Retrieval // arXiv preprint arXiv.2007.07177. 2020.
8. Ufer N., Lang S., Ommer B. Object Retrieval and Localization in Large Art Collections using Deep Multi-Style Feature Fusion and Iterative Voting // Computer Vision – ECCV 2020 Workshops Lecture Notes in Computer Science. ECCV. 2020. V. 12536.
9. Pancaroglu D. Artist, Style And Year Classification Using Face Recognition And Clustering With Convolutional Neural Networks // SIPO. AIRCC Publishing Corporation. 2020.
10. Mao H., Cheung M., She J. DeepArt: Learning Joint Representations of Visual Arts // Proceedings of the 25th ACM international conference on Multimedia. 2017. P. 1183–1191.
11. Elgammal A., Mazzone M., Liu B., Kim D., Elhoseiny M. The Shape of Art History in the Eyes of the Machine // arXiv preprint arXiv.1801.07729. 2018.
12. Garcia N., Renoust B., Nakashima Y. Context-Aware Embeddings for Automatic Art Analysis // Proceedings of the 2019 on International Conference on Multimedia Retrieval. ICMR. 2019. P. 25–33.
13. El Vaigh C.B. et al. GCNBoost: Artwork Classification by Label Propagation through a Knowledge Graph // arXiv preprint arXiv.2105.11852. 2021.
14. Castellano G., Sansaro G., Vessio G. Integrating Contextual Knowledge to Visual Features for Fine Art Classification // arXiv preprint arXiv.2105.15028. 2021.
15. Efthymiou A., Rudinac S., Kackovic M., Worring M., Wijnberg N. Graph Neural Networks for Knowledge Enhanced Visual Representation of Paintings // arXiv preprint arXiv.2105.08190. 2021.
16. Shen X., Efros A., Joulin A., Aubry M. Learning Co-segmentation by Segment Swapping for Retrieval and Discovery //arXiv preprint arXiv.2110.15904. 2021.
17. Castellano G., Vessio G. A deep learning approach to clustering visual arts // arXiv preprint arXiv.2106.06234. 2021.
18. Shaik S., Bucher B., et al. Learning Portrait Style Representations // arXiv preprint arXiv.2012.04153. 2020.
19. Parés F. et al.The MAMe Dataset: On the relevance of High Resolution and Variable Shape image properties // arXiv preprint at arXiv.2007.13693. 2020.
20. Dominguez V., Messina P., Parra D., Mery D., Trattner C., Soto A. Comparing Neural and Attractiveness-based Visual Features for Artwork Recommendation // Proceedings of the 2nd Workshop on Deep Learning for Recommender Systems. DLRS. 2017. P. 55–59.
21. Messina P., Dominguez V., Parra D., Trattner C., Soto A. Exploring Content-based Artwork Recommendation with Metadata and Visual Features // arXiv preprint arXiv.1706.05786. 2017.
22. Ruta D. et al. StyleBabel: Artistic Style Tagging and Captioning // arXiv preprint arXiv.2203.05321. 2022.
23. Жданова В.А. Нейронные сети в искусстве: между имитацией и верификацией // Сб. материалов 2-й молодежный конвент: материалы междунар. студенческой конф. «Многомерность общества: человек в социальном взаимодействии». Екатеринбург: Уральский федеральный ун-т им. первого Президента России Б.Н. Ельцина. 2018. С. 29–32.
24. Boulton P., Hall P. Artistic Domain Generalisation Methods are Limited by their Deep Representations // arXiv preprint arXiv.1907.12622. 2019.
25. Zahedi M.A., Gholamrezaei N., Doboli A. How Deep is Your Art: An Experimental Study on the Limits of Artistic Understanding in a Single-Task, Single-Modality Neural Network // arXiv preprint arXiv.2203.16031. 2022.
26. Иванова Г.С., Головков А.А., Умнов А.В., Петрова Я.С. и др. Методы машинного обучения в задаче диагностирования рентгеновских маммологических снимков // Динамика сложных систем – XXI век. 2019. Т. 13. № 1. С. 25–32.