Б.С. Ксемидов1

1 Федеральный исследовательский центр «Информатика и управление» Российской академии наук (Москва, Россия)
1 sokboriswork@yandex.com

Постановка проблемы. В условиях цифровизации образования возрастает актуальность автоматизации оценки практических заданий, требующих написания программного кода или предоставления развернутых текстовых ответов. Однако существующие инструменты (такие как GIFT, IMS QTI, Gherkin) ориентированы преимущественно на классические тестовые форматы и лишены возможности проверки кода или семантического анализа текстов, что создает высокую нагрузку на преподавателей при ручной проверке решений.

Цель. Разработать предметно-ориентированный язык VEXL (Verification & Exercise Language), реализующий гибридный детерминированно-стохастический подход для автоматической верификации решений практических заданий с использованием больших языковых моделей (LLM).

Результаты. Разработан предметно-ориентированный язык VEXL, базирующийся на оценке решений с применением семейств позитивных и негативных верификаторов. Реализован механизм интеграции больших языковых моделей по принципу «LLM как судья» для автоматической проверки текстовых ответов. Отмечено, что экспериментальная оценка на наборе из 84 студенческих ответов показала высокую точность работы предложенного подхода: Precision составила 98,3%, Recall – 96,7%, F1-мера – 97,5%. Продемонстрировано трехкратное сокращение среднего времени проверки одной работы (с 15 до 5 мин) по сравнению с ручным оцениванием.

Практическая значимость. Разработанный язык VEXL и программные средства его интерпретации представляют собой инструмент для автоматизации оценивания и предоставления обратной связи в образовательных курсах. Простота синтаксиса позволяет преподавателям без глубоких навыков программирования создавать сложные сценарии верификации, что способствует масштабированию образовательных программ и существенному снижению рутинной нагрузки на преподавательский состав.

Ксемидов Б.С. Предметно-ориентированный язык VEXL для автоматизированной проверки практических заданий с ответом в текстовой форме // Системы высокой доступности. 2026. Т. 22. № 3. С. 30−36. DOI: https://doi.org/10.18127/j20729472-202603-03

1. Савиных И., Журавлева Е. Форматы для обмена тестовыми заданиями: AIKEN и GIFT // Вестник Марийского государственного университета. 2009. № 3. С. 99–100.
2. Сарыков Е. Создание файлов с тестовыми вопросами формата GIFT и их импортирование в LMS Moodle // Инновационные образовательные технологии в системе «Школа-вуз». 2016. С. 62–70.
3. Boussakuk M. и др. Designing and developing e-assessment delivery system under IMS QTI ver. 2.2 specification // International Journal of Emerging Technologies in Learning (iJET). International Journal of Emerging Technology in Learning, 2021. Т. 16. № 1. С. 219–233.
4. Волков А.А., Отбеткина Т.А., Видманова А.Н. Инновационный метод повышения эффективности образовательного процесса с применением технологии LLM (на примере ChatGPT) // Информатика, вычислительная техника и управление. 2023.
5. Никитина А.С. ИИ-инструменты и большие языковые модели в образовательной практике // Вестник молодых учёных и специалистов Самарского университета. 2025. № 1 (26). С. 141–148.
6. Ferreira M. и др. Acceptance test generation with large language models: An industrial case study // 2025 IEEE/ACM International Conference on Automation of Software Test (AST). IEEE. 2025. С. 1–11.
7. Karpurapu S. и др. Comprehensive evaluation and insights into the use of large language models in the automation of behavior-driven development acceptance test formulation // IEEE Access. IEEE. 2024. Т. 12. С. 58715–58721.
8. Quispe J., Cordova H., Wong L. Approach for Generating and Executing Acceptance Tests Based on Computer Vision and GPT-4 // 2026 8th International Conference on Software Engineering and Computer Science (CSECS). IEEE. 2026. С. 1–6.
9. Аменицкий А.В. и др. Причины, этические проблемы и профилактика галлюцинации LLM // ИНТЕЛЛЕКТ 3. 2024. С. 12.
10. Mernik M., Heering J., Sloane A.M. When and how to develop domain-specific languages // ACM computing surveys (CSUR). ACM New York, NY, USA, 2005. Т. 37. № 4. С. 316–344.
11. Kaur A. и др. A literature review on device-to-device data exchange formats for iot applications // Journal of Intelligent Systems and Computing. 2020. Т. 1. № 1. С. 1–10.