Анализ метрик качества рисков для оценки стабильности большой языковой модели

Постановка проблемы. Внедрение генеративного искусственного интеллекта (LLM) в корпоративные системы, особенно в финансовом секторе, сталкивается с проблемой недетерминированности моделей и риском галлюцинаций. Традиционные метрики оценки качества программного обеспечения (ПО) и лексические алгоритмы неприменимы к вероятностным текстовым ответам.

Цель. Разработать методологию непрерывного мониторинга больших языковых моделей в промышленной эксплуатации (production), которая объединяет архитектуру Retrieval-Augmented Generation (RAG), подход LLM-as-a-Judge, автоматизированный ETL-конвейер обработки данных и систему проактивного алертинга для обеспечения операционной стабильности бизнеса.

Результаты. Сформирована «триада RAG» из ключевых метрик (Обоснованность/Faithfulness, Релевантность/Answer Relevance, Точность и Полнота контекста). Разработан многоэтапный алгоритм трансформации сырых логов диалогов в аналитические витрины на базе PySpark, исключающий коллизии ключей через суррогатные идентификаторы. Реализован дашборд, доказавший статистическую значимость разрыва Error Rate между голосовыми (74,32%) и текстовыми (16,19%) каналами. Выявлена прямая корреляция ошибок аргументации со временем обработки обращения (AHT).

Практическая значимость. Предложенная система позволяет перейти от выборочного ручного контроля 1–3% коммуникаций к автоматизированному мониторингу 100% сессий. Это обеспечивает снижение операционных рисков, высвобождение до 2000 человеко-часов ежемесячно за счет оптимизации обучения персонала и предотвращение деградации нейросетевых моделей благодаря двухуровневой системе алертинга.