Стохастическая модель замкнутой метрологической цепи контроля качества генерации больших языковых моделей

Н.В. Беспалова; Д. Тетеревенков

doi:10.18127/j19997493-202605-21

Стохастическая модель замкнутой метрологической цепи контроля качества генерации больших языковых моделей

научная статья УДК 004.8 Страницы: 164-173 doi.org/10.18127/j19997493-202605-21

^1,2 Финансовый университет при Правительстве РФ (Москва, Россия)

Ключевые слова: Большие языковые модели метрологическое сопровождение замкнутая метрологическая цепь перегенерация поглощающая цепь Маркова остаточный риск достоверность правило остановки последовательный анализ

Аннотация

Постановка проблемы. В замкнутой метрологической цепи текст, сгенерированный большой языковой моделью (LLM), оценивается каскадным измерительным инструментом с паспортными вероятностями ошибок первого и второго рода, после чего публикуется, перегенерируется или заменяется запасным текстом. Число обращений к модели, доля отказов и, главное, риск публикации дефектного текста до сих пор описывались качественно, а предельное число перегенераций назначалось эмпирически.

Цель. Построить стохастическую модель цикла «генерация – каскадная оценка – перегенерация», получить его характеристики в замкнутой форме и сформулировать правило остановки, согласованное с метрологическим паспортом инструмента.

Результаты. В замкнутом виде получены покрытие запросов, ожидаемое число обращений к модели, распределение числа попыток и остаточный риск (цикл формализован как поглощающая цепь Маркова). Отмечено, что при независимых попытках остаточный риск равен дополнению паспортной достоверности и не зависит от числа перегенераций, а задача о предельном числе попыток вырождена. При зависимых попытках (смесь «лёгких» и «трудных» запросов) достоверность текста, принятого на j-й попытке, монотонно убывает по j, а хвост распределения числа попыток утяжеляется; обратная связь по диагностическому пакету, напротив, повышает достоверность поздних попыток. Сформулировано правило остановки, объединяющее экономический критерий с нормой достоверности; в монотонном случае оптимальна пороговая стратегия с конечным числом попыток. Численный пример на паспортных характеристиках комплекса «Metrolog AI 1.00» подтверждён методом Монте-Карло.

Практическая значимость. Полученные результаты расширяют процедуру паспортизации на замкнутые цепи: паспорт дополняется вероятностью принятия, остаточным риском и обоснованным пределом числа перегенераций, а достоверность каждого опубликованного текста пересчитывается с учётом номера попытки.

Поступила: 17.09.2026
Одобрена: 25.09.2026
Принята: 01.10.2026

Для цитирования

Беспалова Н.В., Тетеревенков Д. Стохастическая модель замкнутой метрологической цепи контроля качества генерации больших языковых моделей // Динамика сложных систем - XXI век. 2026. Т. 20. № 5. С. 164−173. DOI: https://doi.org/10.18127/j19997493-202605-21

Список источников

Тетеревенков Д.Л. Вероятностная модель многоуровневой верификации достоверности текстов, генерируемых большими языковыми моделями // Мягкие измерения и вычисления. 2026. Т. 100. № 3-1. С. 128–134.
Тетеревенков Д.Л., Прокопчина С.В. Статистическое моделирование последовательной верификации текстовых данных, генерируемых большими языковыми моделями // Мягкие измерения и вычисления. 2026. Т. 100. № 3-1. С. 30–37.
Прокопчина С.В. Байесовские интеллектуальные технологии в задачах моделирования закона распределения в условиях неопределённости: монография. М.: Издательский дом «НАУЧНАЯ БИБЛИОТЕКА». 2020. 292 с.
Chen M., Tworek J., Jun H. et al. Evaluating Large Language Models Trained on Code // arXiv preprint arXiv:2107.03374. 2021.
Brown B., Juravsky J., Ehrlich R., Clark R., Le Q.V., Ré C., Mirhoseini A. Large Language Monkeys: Scaling Inference Compute with Repeated Sampling // arXiv preprint arXiv:2407.21787. 2024.
Cobbe K., Kosaraju V., Bavarian M. et al. Training Verifiers to Solve Math Word Problems // arXiv preprint arXiv:2110.14168. 2021.
Snell C., Lee J., Xu K., Kumar A. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters // arXiv preprint arXiv:2408.03314. 2024.
Madaan A., Tandon N., Gupta P. et al. Self-Refine: Iterative Refinement with Self-Feedback // Advances in Neural Information Processing Systems (NeurIPS). 2023. V. 36.
Shinn N., Cassano F., Gopinath A., Narasimhan K., Yao S. Reflexion: Language Agents with Verbal Reinforcement Learning // Advances in Neural Information Processing Systems (NeurIPS). 2023. V. 36.
Huang J., Chen X., Mishra S. et al. Large Language Models Cannot Self-Correct Reasoning Yet // Proceedings of the International Conference on Learning Representations (ICLR). 2024.
Kamoi R., Zhang Y., Zhang N., Han J., Zhang R. When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs // Transactions of the Association for Computational Linguistics. 2024. V. 12. P. 1417–1440.
Олтян Н.Н. Детерминированное структурирование данных с помощью LLM: архитектура воспроизводимого конвейера // Мягкие измерения и вычисления. 2026. Т. 100. № 3. С. 119–127. DOI: 10.36871/2618-9976.2026.03.011.
Dantas P., Cordeiro L., Sun Y., Junior W. The 4/δ Bound: Designing Predictable LLM-Verifier Systems for Formal Method Guarantee // arXiv preprint arXiv:2512.02080. 2025.
Yang Z. Why Retrying Fails: Context Contamination in LLM Agent Pipelines // arXiv preprint arXiv:2605.08563. 2026.
Shaikh N. Knowing When to Ask for Help: Bayesian Self-Escalation in Hierarchical LLM Agents // arXiv preprint arXiv:2608.24087. 2026.
Kadyrkulov R. System and Method for Deepfake Detection: пат. AU 2025204579, Австралия, МПК G06V 40/40; патентообладатель Biometry Solutions Pty Limited. Заявл. 19.06.2025; опубл. 23.04.2026. URL: https://ipsearch.ipaustralia.gov.au/patents/2025204579 (дата обращения: 31.08.2026).
Кемени Дж., Снелл Дж. Конечные цепи Маркова / Пер. с англ. М.: Наука. 1970. 272 с.
Collins R.D., Case K.E., Bennett G.K. The effects of inspection error on single sampling inspection plans // International Journal of Production Research. 1973. V. 11. № 3. P. 289–298.
ГОСТ Р ИСО 2859-1-2007. Статистические методы. Процедуры выборочного контроля по альтернативному признаку. Часть 1. Планы выборочного контроля последовательных партий на основе приемлемого уровня качества. М.: Стандартинформ. 2008.
Luby M., Sinclair A., Zuckerman D. Optimal speedup of Las Vegas algorithms // Information Processing Letters. 1993. V. 47. № 4. P. 173–180.
Gomes C.P., Selman B., Crato N., Kautz H. Heavy-Tailed Phenomena in Satisfiability and Constraint Satisfaction Problems // Journal of Automated Reasoning. 2000. V. 24. № 1–2. P. 67–100.
Вальд А. Последовательный анализ: Пер. с англ. М.: Физматгиз. 1960. 328 с.
Ширяев А.Н. Статистический последовательный анализ. Оптимальные правила остановки. Изд. 2-е, перераб. М.: Наука. 1976. 272 с.
Chow Y.S., Robbins H., Siegmund D. Great Expectations: The Theory of Optimal Stopping. Boston: Houghton Mifflin, 1971. 140 p.

[1] Тетеревенков Д.Л. Вероятностная модель многоуровневой верификации достоверности текстов, генерируемых большими языковыми моделями // Мягкие измерения и вычисления. 2026. Т. 100. № 3-1. С. 128–134.

[2] Тетеревенков Д.Л., Прокопчина С.В. Статистическое моделирование последовательной верификации текстовых данных, генерируемых большими языковыми моделями // Мягкие измерения и вычисления. 2026. Т. 100. № 3-1. С. 30–37.

[3] Прокопчина С.В. Байесовские интеллектуальные технологии в задачах моделирования закона распределения в условиях неопределённости: монография. М.: Издательский дом «НАУЧНАЯ БИБЛИОТЕКА». 2020. 292 с.

[4] Chen M., Tworek J., Jun H. et al. Evaluating Large Language Models Trained on Code // arXiv preprint arXiv:2107.03374. 2021.

[5] Brown B., Juravsky J., Ehrlich R., Clark R., Le Q.V., Ré C., Mirhoseini A. Large Language Monkeys: Scaling Inference Compute with Repeated Sampling // arXiv preprint arXiv:2407.21787. 2024.

[6] Cobbe K., Kosaraju V., Bavarian M. et al. Training Verifiers to Solve Math Word Problems // arXiv preprint arXiv:2110.14168. 2021.

[7] Snell C., Lee J., Xu K., Kumar A. Scaling LLM Test-Time Compute Optimally can be More Effective than Scaling Model Parameters // arXiv preprint arXiv:2408.03314. 2024.

[8] Madaan A., Tandon N., Gupta P. et al. Self-Refine: Iterative Refinement with Self-Feedback // Advances in Neural Information Processing Systems (NeurIPS). 2023. V. 36.

[9] Shinn N., Cassano F., Gopinath A., Narasimhan K., Yao S. Reflexion: Language Agents with Verbal Reinforcement Learning // Advances in Neural Information Processing Systems (NeurIPS). 2023. V. 36.

[10] Huang J., Chen X., Mishra S. et al. Large Language Models Cannot Self-Correct Reasoning Yet // Proceedings of the International Conference on Learning Representations (ICLR). 2024.

[11] Kamoi R., Zhang Y., Zhang N., Han J., Zhang R. When Can LLMs Actually Correct Their Own Mistakes? A Critical Survey of Self-Correction of LLMs // Transactions of the Association for Computational Linguistics. 2024. V. 12. P. 1417–1440.

[12] Олтян Н.Н. Детерминированное структурирование данных с помощью LLM: архитектура воспроизводимого конвейера // Мягкие измерения и вычисления. 2026. Т. 100. № 3. С. 119–127. DOI: 10.36871/2618-9976.2026.03.011.

[13] Dantas P., Cordeiro L., Sun Y., Junior W. The 4/δ Bound: Designing Predictable LLM-Verifier Systems for Formal Method Guarantee // arXiv preprint arXiv:2512.02080. 2025.

[14] Yang Z. Why Retrying Fails: Context Contamination in LLM Agent Pipelines // arXiv preprint arXiv:2605.08563. 2026.

[15] Shaikh N. Knowing When to Ask for Help: Bayesian Self-Escalation in Hierarchical LLM Agents // arXiv preprint arXiv:2608.24087. 2026.

[16] Kadyrkulov R. System and Method for Deepfake Detection: пат. AU 2025204579, Австралия, МПК G06V 40/40; патентообладатель Biometry Solutions Pty Limited. Заявл. 19.06.2025; опубл. 23.04.2026. URL: https://ipsearch.ipaustralia.gov.au/patents/2025204579 (дата обращения: 31.08.2026).

[17] Кемени Дж., Снелл Дж. Конечные цепи Маркова / Пер. с англ. М.: Наука. 1970. 272 с.

[18] Collins R.D., Case K.E., Bennett G.K. The effects of inspection error on single sampling inspection plans // International Journal of Production Research. 1973. V. 11. № 3. P. 289–298.

[19] ГОСТ Р ИСО 2859-1-2007. Статистические методы. Процедуры выборочного контроля по альтернативному признаку. Часть 1. Планы выборочного контроля последовательных партий на основе приемлемого уровня качества. М.: Стандартинформ. 2008.

[20] Luby M., Sinclair A., Zuckerman D. Optimal speedup of Las Vegas algorithms // Information Processing Letters. 1993. V. 47. № 4. P. 173–180.

[21] Gomes C.P., Selman B., Crato N., Kautz H. Heavy-Tailed Phenomena in Satisfiability and Constraint Satisfaction Problems // Journal of Automated Reasoning. 2000. V. 24. № 1–2. P. 67–100.

[22] Вальд А. Последовательный анализ: Пер. с англ. М.: Физматгиз. 1960. 328 с.

[23] Ширяев А.Н. Статистический последовательный анализ. Оптимальные правила остановки. Изд. 2-е, перераб. М.: Наука. 1976. 272 с.

[24] Chow Y.S., Robbins H., Siegmund D. Great Expectations: The Theory of Optimal Stopping. Boston: Houghton Mifflin, 1971. 140 p.

Аннотация

Для цитирования

Похожие статьи