Бахман А.А.1, Васюнин М.А.2, Галкин В.А.3, Гапанюк Ю.Е.4

1–4МГТУ им. Н.Э. Баумана (Москва, Россия)

Постановка проблемы. Задачи разработки интеллектуальных ассистентов на основе методов машинного обучения, исследования и сравнения нейросетевых генеративных моделей, предназначенных для генерации текстов программ, являются актуальными задачами. Повышение качества моделей позволит облегчить решение рутинных задач при создании программного обеспечения. 

Цель. Сравнить качество работы нейросетевых генеративных моделей Incoder и CodeGen.

Результаты. Проведено исследование работы нейросетевых генеративных моделей Incoder и CodeGen как на практических примерах, так и с использованием метрики pass@k.

Практическая значимость. Проведенное исследование позволяет определить применимость нейросетевых генеративных моделей Incoder и CodeGen для решения задачи генерации текстов программ, лучше понять сильные и слабые стороны этих нейросетевых моделей.

Бахман А.А., Васюнин М.А., Галкин В.А., Гапанюк Ю.Е. Подход к генерации текстов программ на основе нейросетевых алгоритмов // Динамика сложных систем. 2023. Т. 17. № 3. С. 58−63. DOI: 10.18127/j19997493-202303-08

1. Мышенков К.С., Некула Х. Использование методов машинного обучения для прогнозирования неврологических заболеваний // Динамика сложных систем – XXI век. 2022. Т. 16. № 1. С. 66–74.
2. Галкин В.А., Биушкин И.С., Журавлева У.В. Анализ программного кода с использованием ансамблевых методов машинного обучения // Динамика сложных систем – XXI век. 2020. Т. 14. № 2. С. 34–41.
3. Daniel Fried, Armen Aghajanyan, Jessy Lin, Sida Wang, Eric Wallace, Freda Shi, Ruiqi Zhong, Wen-tau Yih, Luke Zettlemoyer, Mike Lewis. InCoder: A Generative Model for Code Infilling and Synthesis. URL: https://arxiv.org/abs/2204.05999 (дата обращения: 31.05.2023)
4. Erik Nijkamp, Bo Pang, Hiroaki Hayashi, Lifu Tu, Huan Wang, Yingbo Zhou, Silvio Savarese, Caiming Xiong. CodeGen: An Open Large Language Model for Code with Multi-Turn Program Synthesis. URL: https://arxiv.org/abs/2203.13474 (дата обращения: 31.05.2023)
5. Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin. Attention Is All You Need. URL: https://arxiv.org/abs/1706.03762 (дата обращения: 31.05.2023).
6. Pu-Chin Chen, Henry Tsai, Srinadh Bhojanapalli, Hyung Won Chung, Yin-Wen Chang, Chun-Sung Ferng. A Simple and Effective Positional Encoding for Transformers. URL: https://arxiv.org/abs/2104.08698 (дата обращения: 31.05.2023)
7. Datasets: openai_humaneval. URL: https://huggingface.co/datasets/openai_humaneval (дата обращения: 31.05.2023)
8. Leetcode – Problems. URL: https://leetcode.com/problemset/all (дата обращения: 31.05.2023)
9. Mark Chen, Jerry Tworek, Heewoo Jun et al. Evaluating Large Language Models Trained on Code. URL: https://arxiv.org/abs/ 2107.03374 (дата обращения: 31.05.2023)