Название статьи или книги, фамилия автора, DOI

Сравнительное исследование эффективности автоэнкодеров в задачах обнаружения аномалий

В.Е. Марлей1, А.Н. Терехов2, Ю.А. Гатчин3, В.И. Милушков4, Н.Н. Лиманский5

научная статья УДК 004.032.26 Страницы: 96-106 doi.org/10.18127/j19998554-202405-09

  1. 1,4,5 Государственный университет морского
  2. 2 Санкт-Петербургский государственный университет (Санкт-Петербург, Россия)
  3. 3 Национальный исследовательский университет ИТМО (Санкт-Петербург, Россия)

Аннотация

Постановка проблемы. Автокодировщики представляют собой мощные инструменты для решения задач обнаружения аномалий благодаря их способностям обучаться сжатию и восстановлению нормальных данных. Основная идея использования автокодировщиков заключается в создании моделей, способных эффективно обрабатывать нормальные данные. Однако при этом возникает сложность при восстановлении аномальных показателей, что приводит к увеличению ошибок реконструкции. Основными типами автоэнкодеров являются: сверточный (CAE), вариационный (VAE) и состязательный (AAE).

Цель. Оценить производительность различных моделей автоэнкодеров в задаче обнаружения аномалий на наборе данных MNIST, а также выявить их преимущества и ограничения.

Результаты. Показано, что все три модели автоэнкодеров имеют высокие показатели при обнаружении аномалий, однако наблюдается снижение производительности и вычислительных затрат. Отмечено, что CAE показал лучшие результаты по скорости, но в некоторых случаях уступил VAE и AAE по точности. Выявлено, что, несмотря на более сложную архитектуру и увеличенное время обучения, VAE и AAE продемонстрировали лишь незначительное улучшение по сравнению с CAE.

Практическая значимость. Простота и скорость CAE могут оказаться более предпочтительными для ряда задач, в то время как VAE и AAE могут быть полезны в случаях, где критичны дополнительные возможности, такие как генерация новых данных или улучшенная устойчивость к шумам. Различия в результатах реконструкции моделей автоэнкодеров и их интерпретации открывают новые возможности для дальнейших исследований, в том числе для разработки гибридных подходов, которые могут сочетать сильные стороны этих моделей.

Поступила
26.08.2024
Одобрена
09.09.2024
Принята
26.09.2024

Для цитирования

Марлей В.Е., Терехов А.Н., Гатчин Ю.А., Милушков В.И., Лиманский Н.Н. Сравнительное исследование эффективности автоэнкодеров в задачах обнаружения аномалий // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 5. С. 96-106. DOI: https://doi.org/10.18127/j19998554-202405-09

Список источников
  1. Ваняшкин Ю.Ю., Макаров Д.А., Попова И.А., Соболева Е.Д. Применение автокодировщиков для устранения шумов с изображений // StudNet. 2020. Т. 3. № 10. С. 27.
  2. Лазарев А.С., Туровский Ф.А., Пивоваров С.А. Автокодировщик // Сборник статей Междунар. науч.-практич. конф. «Инновационные технологии в науке нового времени». Уфа: Аэтерна. 2017. Т. 3. С. 82–84.
  3. Калинин М.О. Предотвращение угроз кибербезопасности в самоорганизующихся m2m-средах в условиях недостатка обучающих наборов данных // Цифровая экономика и Индустрия 5.0: развитие в новой реальности. 2022. С. 107–128. DOI 10.18720/IEP/2022.3/4.
  4. Милушков В.И., Лиманский Н.Н., Марлей В.Е. Интеграция гибридного полуконтролируемого и контрастного обучения для автоматической классификации дефектов в производственных данных: повышение точности контроля качества продукции // Перспективы науки. 2024. № 6(177). С. 81–86.
  5. Лиманский Н.Н., Милушков В.И., Марлей В.Е. Обнаружение аномалий в роботизированных системах: сравнительный анализ ConvLSTM с механизмом внимания и традиционных подходов // Перспективы науки. 2024. № 6(177). С. 77–80.
  6. Кураедов В.И. Применение методов машинного обучения для оптимизации процесса генерации тестовых последовательностей при проектировании интегральных схем // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 1. С. 14-22. DOI 10.18127/j19998554-202401-02.
  7. Волков А.К., Миронова Л.В., Потапова С.Е. Применение предварительно обученных нейронных сетей для решения задачи обратного поиска рентгеновских изображений запрещенных предметов и веществ // Научный вестник Московского государственного технического университета гражданской авиации. 2024. Т. 27. № 2. С. 8–24. DOI 10.26467/2079-0619-2024-27-2-8-24.
  8. Беляков А.Н., Жуков В.П., Широков М.О. Повышение качества распознавания образов с помощью модифицированного вариационного автоэнкодера // Материалы Междунар. науч.-технич. конф. «Состояние и перспективы развития электро- и теплотехнологии». Иваново: Ивановский государственный энергетический университет им. В.И. Ленина. 2023. Т. 2. С. 362–365.
  9. LeCun Y., Cortes C., Burges C.J.C. MNIST handwritten digit database. [Электронный ресурс] – Режим доступа: https://yann.le-cun.com/ exdb/mnist/, дата обращения 15.07.2024.
  10. Bergmann P. Löwe S., Fauser M., Sattlegger D., Steger C. Improving Unsupervised Defect Segmentation by Applying Structural Similarity to Autoencoders. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/1807.02011, дата обращения 15.07.2024.
  11. Фигурнов М.В., Струминский К.А., Ветров Д.П. Устойчивый к шуму метод обучения вариационного автокодировщика // Интеллектуальные системы. Теория и приложения. 2017. Т. 21. № 2. С. 90–109.
  12. Осипов К.Н., Заморёнов М.В. Минимизация информационного расхождения Кульбака-Лейблера в задачах автоматизированной обработки измерительной информации // Известия Тульского государственного университета. Технические науки. 2019. № 3. С. 195–200.
  13. Сухань А.А. Генеративно-состязательные нейронные сети в задачах определения трендов // Московский экономический журнал. 2019. № 6. С. 32. DOI 10.24411/2413-046X-2019-16031.
  14. Богданов Л.Ю. Оценка эффективности бинарных классификаторов на основе логистической регрессии методом ROC-анализа // Вестник Саратовского государственного технического университета. 2010. Т. 4. № 2(50). С. 92–97.
  15. Костин Д.В., Шелухин О.И. Сравнительный анализ алгоритмов машинного обучения для проведения классификации сетевого зашифрованного трафика // T-Comm: Телекоммуникации и транспорт. 2016. Т. 10. № 9. С. 43–52.