И.В. Стаценко1, Н.А. Андриянов2, О.С. Шишкин3

1–3 Финансовый университет при Правительстве РФ (Москва, Россия)

1,3 foreth35@gmail.com, 2 naandriyanov@fa.ru

Постановка проблемы. При использовании синтетических данных в обучающей выборке модели обучаются задаче генерации гораздо хуже. Это явление получило название «model collapse». Решение данной проблемы в потенциале позволит обеспечить модели гораздо большим количеством данных для обучения с сохранением высокого качества генерации. При этом это касается и моделей текстов, и моделей изображений.

Цель. Изучить явление «model collapse» и рассмотреть существующие методы борьбы с данным явлением.

Результаты. Рассмотрены существующие на данный момент методы борьбы с model collapse. Выявлены недостатки, которые в себе несут рассмотренные методы. Намечены направления для будущих исследований. Систематизированы подходы к борьбе с коллапсом моделей глубокого обучения.

Практическая значимость. Поскольку синтетические данные встречаются повсеместно, важно знать методы улучшения обучения модели при столкновении с такими данными. Для исследователей в данной области определены возможные темы для будущих работ. Результаты будут полезны как специалистам, у кого не хватает данных под какую-либо узкую решаемую задачу, так и экспертам в области обучения больших генеративных моделей.

Стаценко И.В., Андриянов Н.А., Шишкин О.С. Современное состояние исследований проблемы коллапса моделей глубокого обучения // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 6. С. 55-64. DOI: https://doi.org/10.18127/j19998554-202406-08

1. Андриянов Н.А., Куличенко Я.В. Применение генеративных моделей изображений для аугментирования данных обучения детектора лиц // Нейрокомпьютеры: разработка, применение. 2023. T. 25. № 5. С. 7–15. DOI 10.18127/j19998554-202305-02.
2. Бурыгин А.О., Панин И.Г. Дуальная система детекции и генерации дефектов на плоских поверхностях // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 3. С. 55–67. DOI 10.18127/j19998554-202403-06.
3. Кузнецов А.В., Димитров Д.В., Грошев А.Ю., Парамонов П.П., Мальцева А.А. Технологии компьютерного зрения в задачах синтеза высококачественного мультимедийного контента // Доклады Российской академии наук. Математика, информатика, процессы управления. 2022. Т. 508. № 1. С. 109–110. DOI 10.31857/S2686954322070141.
4. Андриянов Н.А. Псевдоградиентные процедуры в задачах оценивания параметров моделей изображений // Сборник трудов 26-й Междунар. Крымской конф. «СВЧ-техника и телекоммуникационные технологии». 2016. С. 2705–2710.
5. Andriyanov N., Andriyanov D. Pattern Recognition on Radar Images Using Augmentation // Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology. 2020. P. 0289–0291. DOI 10.1109/USBEREIT48449.2020.9117669.
6. Shumailov I., Shumaylov Z., Zhao Y., Gal Y., Papernot N., Anderson R. The Curse of Recursion: Training on Generated Data Makes Models Forget. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2305.17493, дата обращения 15.04.2024.
7. LeCun Y., Cortes C., Burges C.J. MNIST handwritten digit database В: ATT Labs. [Электронный ресурс] – Режим доступа: https://yann.lecun.com/exdb/mnist/, дата обращения 15.06.2024.
8. Kingma D.P., Welling M. Auto-Encoding Variational Bayes. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/1312. 6114, дата обращения 15.04.2024.
9. Gerstgrasser M., Schaeffer R., Dey A., Rafailov R., Pai D., Sleight H., Hughes J., Korbak T., Agrawal R., Gromov A., Roberts D.A., Yang D., Donoho D.L., KoyejoIs S. Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. [Электронный ресурс] – Режим доступа: https://arxiv.org/html/2404.01413v2, дата обращения 15.04.2024.
10. Eldan R., Li Y. TinyStories: How Small Can Language Models Be and Still Speak Coherent English? [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2305.07759, дата обращения 15.04.2024.
11. Xu M., Yu L., Song Y., Shi C., Ermon S., Tang J. GeoDiff: A Geometric Diffusion Model for Molecular Conformation Generation. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2203.02923, дата обращения 15.04.2024.
12. Axelrod S., Gomez-Bombarelli R. GEOM, energy-annotated molecular conformations for property prediction and molecular generation // Scientific Data. 2022. V. 9. № 1. P. 185. DOI 10.1038/s41597-022-01288-4.
13. Liu Z., Luo P., Wang X., Tang X. Deep Learning Face Attributes in the Wild // IEEE International Conference on Computer Vision. 2015. P. 3730–3738. DOI 10.1109/ICCV.2015.425.
14. Gillman N., Freeman M., Aggarwal D., Hsu C.-H., Luo C., Tian Y., Sun C. Self-Correcting Self-Consuming Loops for Generative Model Training. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2402.07087, дата обращения 15.04.2024.
15. Saunders W., Yeh C., Wu J., Bills S., Ouyang L., Ward J., Leike J. Self-critiquing models for assisting human evaluators. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2206.05802, дата обращения 15.04.2024.
16. Welleck S., Lu X., West P., Brahman F., Shen T., Khashabi D., Choi Y. Generating Sequences by Learning to Self-Correct. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2211.00053, дата обращения 15.04.2024.
17. Tevet G., Raab S., Gordon B., Shafir Y., Cohen-Or D., Bermano A.H. Human Motion Diffusion Model. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2209.14916, дата обращения 15.04.2024.
18. Ghorbani S., Mahdaviani K., Thaler A., Kording K., Cook D.Ja., Blohm G., Troje N.F. MoVi: A large multi-purpose human motion and video dataset // PLoS ONE. 2021. V. 16. № 6. P. e0253157. DOI 10.1371/journal.pone.0253157.
19. Ho J., Jain A., Abbeel P. Denoising Diffusion Probabilistic Models. [Электронный ресурс] – Режим доступа: https://arxiv.org/ pdf/2006.11239, дата обращения 15.04.2024.
20. Luo Z., Hachiuma R., Yuan Y., Kitani K. Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation. [Электронный ресурс] – Режим доступа: https://arxiv.org/pdf/2106.05969, дата обращения 15.04.2024.