Метрологическое обоснование каскадной системы оценки качества генерации текста большими языковыми моделями

Д. Тетеревенков

doi:10.18127/j19997493-202605-10

Метрологическое обоснование каскадной системы оценки качества генерации текста большими языковыми моделями

научная статья УДК 004.9 Страницы: 71-76 doi.org/10.18127/j19997493-202605-10

¹ Финансовый университет при Правительстве РФ (Москва, Россия)

Ключевые слова: Большие языковые модели метрологический комплекс каскадная оценка ошибки первого и второго рода достоверность теорема Байеса математическое моделирование

Аннотация

Постановка проблемы. Стремительное развитие больших языковых моделей (LLM) обусловило задачу количественной оценки качества генерируемого ими текста. Существующие метрики (BLEU, ROUGE, BERTScore) оценивают отдельные аспекты качества, но не дают целостной метрологически обоснованной характеристики самой системы оценки. Нерешенной остаётся задача о погрешности инструмента оценки.

Цель. Разработать математическую модель каскадной системы оценки качества генерации текста LLM на основе метрологического подхода, формально характеризующую погрешности оценки и обеспечивающую связь между метриками искусственного интеллекта и классическими метрологическими характеристиками.

Результаты. Предложен подход, рассматривающий систему оценки как измерительный инструмент с метрологическим комплексом (ошибки первого и второго рода, точность, надёжность, достоверность, количество информации). Выведены формулы трансформации погрешностей по каскаду модулей по аналогии с цепочкой измерительных преобразователей. Установлена формальная связь метрик искусственного интеллекта и метрологических характеристик. Приведён численный пример работы каскада из четырёх модулей.

Практическая значимость. Предложенный аппарат позволяет применять автоматические системы оценки качества генерации текста LLM в составе критически важных информационно-аналитических систем с формально верифицируемыми характеристиками точности и достоверности.

Поступила: 07.09.2026
Одобрена: 15.09.2026
Принята: 01.10.2026

Для цитирования

Тетеревенков Д. Метрологическое обоснование каскадной системы оценки качества генерации текста большими языковыми моделями // Динамика сложных систем - XXI век. 2026. Т. 20. № 5. С. 71−76. DOI: https://doi.org/10.18127/j19997493-202605-10

Список источников

Papineni K., Roukos S., Ward T., Zhu W.-J. BLEU: a Method for Automatic Evaluation of Machine Translation // Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL). Philadelphia. 2002. P. 311–318.
Lin C.-Y. ROUGE: A Package for Automatic Evaluation of Summaries // Text Summarization Branches Out: Proceedings of the ACL-04 Workshop. Barcelona. 2004. P. 74–81.
Zhang T., Kishore V., Wu F., Weinberger K.Q., Artzi Y. BERTScore: Evaluating Text Generation with BERT // Proceedings of the International Conference on Learning Representations (ICLR). 2020.
Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. Изд. 2-е, перераб. и доп. Л.: Энергоатомиздат. 1991. 304 с.
Прокопчина С.В. Байесовские интеллектуальные технологии в задачах моделирования закона распределения в условиях неопределённости: монография. М.: Издательский дом «Научная библиотека». 2020. 292 с.
Bernardo J.M., Smith A.F.M. Bayesian Theory. Chichester: Wiley. 2000. 586 p.
Zheng L., Chiang W.-L., Sheng Y. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena // Advances in Neural Information Processing Systems (NeurIPS). 2023.
Hanu L. Unitary team. Detoxify. 2020. URL: https://github.com/unitaryai/detoxify (дата обращения: 15.01.2026).
Hoeffding W. Probability Inequalities for Sums of Bounded Random Variables // Journal of the American Statistical Association. 1963. V. 58. № 301. P. 13–30.
Shannon C.E. A Mathematical Theory of Communication // The Bell System Technical Journal. 1948. V. 27. № 3. P. 379–423.
Radford A., Wu J., Child R., Luan D., Amodei D., Sutskever I. Language Models are Unsupervised Multitask Learners // OpenAI Blog. 2019.
Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2019. P. 3982–3992.
He P., Liu X., Gao J., Chen W. DeBERTa: Decoding-enhanced BERT with Disentangled Attention // Proceedings of the International Conference on Learning Representations (ICLR). 2021.
Liu Y., Ott M., Goyal N. et al. RoBERTa: A Robustly Optimized BERT Pretraining Approach // arXiv preprint arXiv:1907.11692. 2019.
Powers D.M.W. Evaluation: from Precision, Recall and F-measure to ROC, Informedness, Markedness and Correlation // Journal of Machine Learning Technologies. 2011. V. 2. № 1. P. 37–63.

[1] Papineni K., Roukos S., Ward T., Zhu W.-J. BLEU: a Method for Automatic Evaluation of Machine Translation // Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL). Philadelphia. 2002. P. 311–318.

[2] Lin C.-Y. ROUGE: A Package for Automatic Evaluation of Summaries // Text Summarization Branches Out: Proceedings of the ACL-04 Workshop. Barcelona. 2004. P. 74–81.

[3] Zhang T., Kishore V., Wu F., Weinberger K.Q., Artzi Y. BERTScore: Evaluating Text Generation with BERT // Proceedings of the International Conference on Learning Representations (ICLR). 2020.

[4] Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. Изд. 2-е, перераб. и доп. Л.: Энергоатомиздат. 1991. 304 с.

[5] Прокопчина С.В. Байесовские интеллектуальные технологии в задачах моделирования закона распределения в условиях неопределённости: монография. М.: Издательский дом «Научная библиотека». 2020. 292 с.

[6] Bernardo J.M., Smith A.F.M. Bayesian Theory. Chichester: Wiley. 2000. 586 p.

[7] Zheng L., Chiang W.-L., Sheng Y. et al. Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena // Advances in Neural Information Processing Systems (NeurIPS). 2023.

[8] Hanu L. Unitary team. Detoxify. 2020. URL: https://github.com/unitaryai/detoxify (дата обращения: 15.01.2026).

[9] Hoeffding W. Probability Inequalities for Sums of Bounded Random Variables // Journal of the American Statistical Association. 1963. V. 58. № 301. P. 13–30.

[10] Shannon C.E. A Mathematical Theory of Communication // The Bell System Technical Journal. 1948. V. 27. № 3. P. 379–423.

[11] Radford A., Wu J., Child R., Luan D., Amodei D., Sutskever I. Language Models are Unsupervised Multitask Learners // OpenAI Blog. 2019.

[12] Reimers N., Gurevych I. Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing (EMNLP). 2019. P. 3982–3992.

[13] He P., Liu X., Gao J., Chen W. DeBERTa: Decoding-enhanced BERT with Disentangled Attention // Proceedings of the International Conference on Learning Representations (ICLR). 2021.

[14] Liu Y., Ott M., Goyal N. et al. RoBERTa: A Robustly Optimized BERT Pretraining Approach // arXiv preprint arXiv:1907.11692. 2019.

[15] Powers D.M.W. Evaluation: from Precision, Recall and F-measure to ROC, Informedness, Markedness and Correlation // Journal of Machine Learning Technologies. 2011. V. 2. № 1. P. 37–63.

Аннотация

Для цитирования

Похожие статьи