В.Е. Марлей1, А.Н. Терехов2, Ю.А. Гатчин3, В.И. Милушков4, Н.Н. Лиманский5

1,4,5 Государственный университет морского
и речного флота имени адмирала С.О. Макарова (Санкт-Петербург, Россия)

2 Санкт-Петербургский государственный университет (Санкт-Петербург, Россия)

3 Национальный исследовательский университет ИТМО (Санкт-Петербург, Россия)

1 vmarley@mail.ru, 2 ant@tercom.ru, 3 gatchin1952@mail.ru, 4 info@sohoware.ru, 5 info@sohoware.ru

Постановка проблемы. Автокодировщики представляют собой мощные инструменты для решения задач обнаружения аномалий благодаря их способностям обучаться сжатию и восстановлению нормальных данных. Основная идея использования автокодировщиков заключается в создании моделей, способных эффективно обрабатывать нормальные данные. Однако при этом возникает сложность при восстановлении аномальных показателей, что приводит к увеличению ошибок реконструкции. Основными типами автоэнкодеров являются: сверточный (CAE), вариационный (VAE) и состязательный (AAE).

Цель. Оценить производительность различных моделей автоэнкодеров в задаче обнаружения аномалий на наборе данных MNIST, а также выявить их преимущества и ограничения.

Результаты. Показано, что все три модели автоэнкодеров имеют высокие показатели при обнаружении аномалий, однако наблюдается снижение производительности и вычислительных затрат. Отмечено, что CAE показал лучшие результаты по скорости, но в некоторых случаях уступил VAE и AAE по точности. Выявлено, что, несмотря на более сложную архитектуру и увеличенное время обучения, VAE и AAE продемонстрировали лишь незначительное улучшение по сравнению с CAE.

Практическая значимость. Простота и скорость CAE могут оказаться более предпочтительными для ряда задач, в то время как VAE и AAE могут быть полезны в случаях, где критичны дополнительные возможности, такие как генерация новых данных или улучшенная устойчивость к шумам. Различия в результатах реконструкции моделей автоэнкодеров и их интерпретации открывают новые возможности для дальнейших исследований, в том числе для разработки гибридных подходов, которые могут сочетать сильные стороны этих моделей.

Марлей В.Е., Терехов А.Н., Гатчин Ю.А., Милушков В.И., Лиманский Н.Н. Сравнительное исследование эффективности автоэнкодеров в задачах обнаружения аномалий // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 5. С. 96-106. DOI: https://doi.org/10.18127/j19998554-202405-09

1. Ваняшкин Ю.Ю., Макаров Д.А., Попова И.А., Соболева Е.Д. Применение автокодировщиков для устранения шумов с изображений // StudNet. 2020. Т. 3. № 10. С. 27.
2. Лазарев А.С., Туровский Ф.А., Пивоваров С.А. Автокодировщик // Сборник статей Междунар. науч.-практич. конф. «Инновационные технологии в науке нового времени». Уфа: Аэтерна. 2017. Т. 3. С. 82–84.
3. Калинин М.О. Предотвращение угроз кибербезопасности в самоорганизующихся m2m-средах в условиях недостатка обучающих наборов данных // Цифровая экономика и Индустрия 5.0: развитие в новой реальности. 2022. С. 107–128. DOI 10.18720/IEP/2022.3/4.
4. Милушков В.И., Лиманский Н.Н., Марлей В.Е. Интеграция гибридного полуконтролируемого и контрастного обучения для автоматической классификации дефектов в производственных данных: повышение точности контроля качества продукции // Перспективы науки. 2024. № 6(177). С. 81–86.
5. Лиманский Н.Н., Милушков В.И., Марлей В.Е. Обнаружение аномалий в роботизированных системах: сравнительный анализ ConvLSTM с механизмом внимания и традиционных подходов // Перспективы науки. 2024. № 6(177). С. 77–80.
6. Кураедов В.И. Применение методов машинного обучения для оптимизации процесса генерации тестовых последовательностей при проектировании интегральных схем // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 1. С. 14-22. DOI 10.18127/j19998554-202401-02.
7. Волков А.К., Миронова Л.В., Потапова С.Е. Применение предварительно обученных нейронных сетей для решения задачи обратного поиска рентгеновских изображений запрещенных предметов и веществ // Научный вестник Московского государственного технического университета гражданской авиации. 2024. Т. 27. № 2. С. 8–24. DOI 10.26467/2079-0619-2024-27-2-8-24.
8. Беляков А.Н., Жуков В.П., Широков М.О. Повышение качества распознавания образов с помощью модифицированного вариационного автоэнкодера // Материалы Междунар. науч.-технич. конф. «Состояние и перспективы развития электро- и теплотехнологии». Иваново: Ивановский государственный энергетический университет им. В.И. Ленина. 2023. Т. 2. С. 362–365.
9. LeCun Y., Cortes C., Burges C.J.C. MNIST handwritten digit database. [Электронный ресурс] – Режим доступа: https://yann.le-cun.com/ exdb/mnist/, дата обращения 15.07.2024.
10. Bergmann P. Löwe S., Fauser M., Sattlegger D., Steger C. Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/1807.02011, дата обращения 15.07.2024.
11. Фигурнов М.В., Струминский К.А., Ветров Д.П. Устойчивый к шуму метод обучения вариационного автокодировщика // Интеллектуальные системы. Теория и приложения. 2017. Т. 21. № 2. С. 90–109.
12. Осипов К.Н., Заморёнов М.В. Минимизация информационного расхождения Кульбака-Лейблера в задачах автоматизированной обработки измерительной информации // Известия Тульского государственного университета. Технические науки. 2019. № 3. С. 195–200.
13. Сухань А.А. Генеративно-состязательные нейронные сети в задачах определения трендов // Московский экономический журнал. 2019. № 6. С. 32. DOI 10.24411/2413-046X-2019-16031.
14. Богданов Л.Ю. Оценка эффективности бинарных классификаторов на основе логистической регрессии методом ROC-анализа // Вестник Саратовского государственного технического университета. 2010. Т. 4. № 2(50). С. 92–97.
15. Костин Д.В., Шелухин О.И. Сравнительный анализ алгоритмов машинного обучения для проведения классификации сетевого зашифрованного трафика // T-Comm: Телекоммуникации и транспорт. 2016. Т. 10. № 9. С. 43–52.