Э.Ю. Большаков1
1 Российский биотехнологический университет (РОСБИОТЕХ) (Москва, Россия)

1 emil.bolshakov@mgupp.ru

Постановка проблемы. Применение больших языковых моделей (large language models, LLM) для изменения метаописаний информационно-аналитических систем управления ускоряет подготовку сущностей, связей, ролей и автоматизаций, но создает риск выполнения структурно некорректных, несанкционированных или устаревших операций. Метаресурсом в исследовании называется типизированное описание предметного объекта, из которого формируются программные компоненты системы. Интерфейсы, ограничивающие типы параметров программных операций, сами по себе не обеспечивают соблюдение правил согласованности предметной области и сохранение согласованной версии реестра.

Цель. Повысить безопасность и надежность изменения метаресурсов информационно-аналитических систем управления с применением больших языковых моделей посредством отделения вероятностного предложения LLM от детерминированного серверного решения о допустимости и выполнении плана.

Результаты. Введены типизированная последовательность вызовов, валидатор ссылок и зависимостей, трехуровневая политика риска, привязка плана к версии схемы, повторная проверка перед фиксацией и трассировка намерения до операции. Показано, что в контрольном наборе из 120 планов полный метод обнаружил 80 из 80 целевых нарушений без ложного отклонения 40 допустимых планов, а синтаксический и типизированно-семантический варианты обнаружили соответственно 12,5 и 37,5% нарушений. Отмечено, что во всех 120 испытаниях с внесенным сбоем исходное состояние реестра сохранилось; корректно выполнены 40 фиксаций и отклонены 40 устаревших планов.

Практическая значимость. Метод предназначен для конструкторов корпоративных систем, в которых LLM подготавливает изменение, а полномочия, сетевые ограничения, согласованность и публикация контролируются воспроизводимой серверной процедурой. Научная новизна заключается в предметно-ориентированном объединении пяти механизмов: типизированного плана над метаресурсом; детерминированной проверки структурных и ролевых ограничений; агрегирования риска по наиболее строгой операции; привязки плана к версии схемы; раздельной семантики локальной транзакции и компенсируемого внешнего эффекта.

Большаков Э.Ю. Метод контролируемого формирования и детерминированной верификации метаресурсов информационно-аналитических систем управления с применением больших языковых моделей // Нейрокомпьютеры: разработка, применение. 2026. Т. 28. № 4. С. 34–46. DOI: https://doi.org/10.18127/j19998554-202604-03

1. Скрыль С.В., Терехов В.И., Горячкин Б.С., Мышенков К.С. Полнота и своевременность информационного взаимодействия в АСОИ как объективная характеристика эффективности когнитивной деятельности в такой системе // Динамика сложных систем. 2026. Т. 20. № 2. С. 5–13. DOI: 10.18127/j19997493-202602-01.
2. Antsifrov N.S., Myshenkov K.S. Evaluation of software lifecycle models based on project parameter metrics // International Conference on Integrated Intelligence and Cognitive Engineering (ICIICE). United Arab Emirates, Dubai. 2026. P. 1–6. DOI: 10.1109/ICI ICE69672.2026.11565157.
3. Schick T., Dwivedi-Yu J., Dess R. et al. Toolformer: Language models can teach themselves to use tools // Advances in Neural Information Processing Systems. 2023. V. 36. URL: https://arxiv.org/abs/2302.04761 (дата обращения: 15.07.2026).
4. Yao S., Zhao J., Yu D. et al. ReAct: Synergizing reasoning and acting in language models // International Conference on Learning Representations. 2023. URL: https://arxiv.org/abs/2210.03629 (дата обращения: 15.07.2026).
5. Ruan Y., Dong H., Wang A. et al. Identifying the risks of LM agents with an LM-emulated sandbox // International Conference on Learning Representations. 2024. URL: https://openreview.net/forum?id=GEcwtMk1uA (дата обращения: 15.07.2026).
6. Yao S., Shinn N., Razavi P. et al. t-bench: A benchmark for tool-agent-user interaction in real-world domains // arXiv:2406.12045. 2024. URL: https://arxiv.org/abs/2406.12045 (дата обращения: 15.07.2026).
7. Yuan T., He Z., Dong K. et al. R-Judge: Benchmarking safety risk awareness for LLM agents // arXiv:2401.10019. 2024. URL: https://arxiv.org/abs/2401.10019 (дата обращения: 15.07.2026).
8. Xiang Z., Zheng L., Li Y. et al. GuardAgent: Safeguard LLM agents by a guard agent via knowledge-enabled reasoning // arXiv:2406.09187. 2024. URL: https://arxiv.org/abs/2406.09187 (дата обращения: 15.07.2026).
9. Wang H., Poskitt C.M., Sun J. AgentSpec: Customizable runtime enforcement for safe and reliable LLM agents // arXiv:2503.18666. 2025. URL: https://arxiv.org/abs/2503.18666 (дата обращения: 15.07.2026).
10. Greshake K., Abdelnabi S., Mishra S. et al. Not what you've signed up for: Compromising real-world LLM-integrated applications with indirect prompt injection // arXiv:2302.12173. 2023. URL: https://arxiv.org/abs/2302.12173 (дата обращения: 15.07.2026).
11. National Institute of Standards and Technology. Artificial intelligence risk management framework (AI RMF 1.0). NIST AI 100-1. Gaithersburg. 2023. DOI: 10.6028/NIST.AI.100-1.
12. National Institute of Standards and Technology. Artificial intelligence risk management framework: Generative artificial intelligence profile. NIST AI 600-1. Gaithersburg. 2024. DOI: 10.6028/NIST.AI.600-1.
13. OWASP Foundation. OWASP Top 10 for LLM Applications 2025. URL: https://genai.owasp.org/llm-top-10/ (дата обращения: 15.07.2026).
14. OWASP Foundation. OWASP API Security Top 10 – 2023. URL: https://owasp.org/API-Security/ (дата обращения: 15.07.2026).
15. ISO/IEC 42001:2023. Information technology – Artificial intelligence – Management system. Geneva: ISO. 2023.
16. ISO/IEC/IEEE 29148:2018. Systems and software engineering – Life cycle processes – Requirements engineering. Geneva: ISO. 2018.
17. OpenAPI Initiative. OpenAPI specification. Version 3.1.1. 2024. URL: https://spec.openapis.org/oas/v3.1.1.html (дата обращения: 15.07.2026).
18. Object management group. Object constraint language. Version 2.4. 2014. URL: https://www.omg.org/spec/OCL/2.4/ (дата обращения: 15.07.2026).
19. Bézivin J. On the unification power of models // Software and Systems Modeling. 2005. V. 4. P. 171–188. DOI: 10.1007/s10270-005-0079-0.
20. Schmidt D.C. Model-driven engineering // Computer. 2006. V. 39. № 2. P. 25–31. DOI: 10.1109/MC.2006.58.
21. Большаков Э.Ю., Новицкий В.О. Автоматизированная разработка программного обеспечения для создания бэкенд-веб-серверов // Динамика сложных систем – XXI век. 2025. Т. 19. № 3. С. 58–66. DOI: 10.18127/j19997493-202503-06.
22. Большаков Э.Ю., Новицкий В.О. Интеграция онтологических моделей и бизнес-процессов в информационно-аналитической системе предприятия // Динамика сложных систем – XXI век. 2026. Т. 20. № 3. С. 28–39. DOI: 10.18127/j19997493-202603-03.