А.И. Власов1, А.Н. Орехов2, Л.В. Тетик3

1 МГТУ им. Н.Э. Баумана (Москва, Россия)
2 Фонд содействия созданию и внедрению компьютерной психики (Москва, Россия)
3 МГУ М.В. Ломоносова (Москва, Россия)
 

Постановка проблемы. В работе рассмотрены методики и результаты вероятностных и семантических испытаний компьютерной системы АлНикОр – первой в мире компьютерной личности, решающей нестандартные задачи. Проблема такого рода испытаний имеет два аспекта. Во-первых, поскольку алгоритмы АлНикОра реализуют номотетические модели психики человека, которые содержат в свёрнутом виде математические отображения не только познавательных процессов, но и личностных особенностей, носят вероятностный характер и становятся зависимыми от семантических характеристик слов, описывающих задачу. В этой связи любое внешнее вмешательство, в частности, изменение образов слов или их семантических характеристик, может сделать поведение системы неадекватным. Во-вторых, методы, используемые для проверки характеристик экспертных систем, больших лингвистических моделей, алгоритмов глубокого обучения и т.д. для систем, основанных на номотетических моделях психики, не дают надежно интерпретируемых результатов. Совершенствование больших лингвистических моделей, алгоритмов глубокого обучения особенно широкое использование в них положительного и отрицательного подкрепления делает проблему интерпретации результатов всё более значимой.

Цель. Разработать и апробировать методики проверки вероятностных и семантических характеристик компьютерных систем, основанных на номотетических моделях психики человека.

Результаты. Предложенны методики, важными фрагментами которых являются частичная блокировка семантической
памяти, а также замена слов их смысловыми эквивалентами, позволившие получить адекватные и интерпретируемые результаты в вероятностных и семантических испытаниях. Проведены вероятностные испытания, которые подтвердили, что частота ошибки равномерно распределена по испытаниям. Выявлены наиболее вероятные источники ошибки. Отмечено, что семантические испытания осуществлялись с заменой слов на их смысловые эквиваленты при разных уровнях когнитивной сложности. Показано, что при низком уровне когнитивной сложности замена даже одного слова смысловым эквивалентом приводит к резкому росту частоты ошибок, тогда как при среднем уровне когнитивной сложности замена даже нескольких слов смысловыми эквивалентами на частоту ошибок не влияет.

Практическая значимость. Разработанные методики позволяют определять значимые вероятностные и семантические
характеристики компьютерных систем, основанных на номотетических моделях психики. Применение разработанных методик дает возможность обосновано интерпретировать результаты работы совершенных систем искусственного интеллекта,
использующих отрицательное и положительное подкрепление. Характеристики системы АлНикОр, подтверждённые в ходе вероятностных и семантических испытаний, позволяют создавать полезные системы в разных областях. Подтверждённые в статье характеристики алгоритмов на основе номотетических моделей психики человека предоставляют возможность образовывать более совершенные системы, сформированные на правилах больших лингвистических моделях, глубокого обучения, в частности, с использованием положительного и отрицательного подкрепления.

Власов А.И., Орехов А.Н., Тетик Л.В. Вероятностные и семантические испытания компьютерной системы, решающей нестандартные задачи // Нейрокомпьютеры: разработка, применение. 2023. T. 25. № 1. С. 31-45. DOI: https://doi.org/10.18127/ j19998554-202301-01

1. Орехов А.Н. Решение нестандартных задач компьютерной системой // Нейрокомпьютеры: разработка, применение. 2021.
   T. 23 № 3. C. 43–62. DOI 10.18127/j19998554-202103-05.
2. Tom B. Brown et al. Language Models are Few-Shot Learners – Johns Hopkins University, Open AI. 2020. 75 p.
3. Бажин В.А. Тонкая настройка BERT и GPT-3 для решения задачи генерации русскоязычных новостей // Актуальные научные исследования в современном мире. 2021. № 5-2 (73). С. 43–58.
4. Дульнев В.В. Анализ применения нейронных сетей для генерации программного кода на примере GPT-3 // Инновации. Наука. Образование. 2021. № 35. С. 408–411.
5. Доценко С.А. Отражение проблем неравенства и коммуникации современного общества в генеративных языковых нейросетях на примере GPT-3 // Тезисы докладов Девятой междунар. научно-практич. конф. «Философия и культура информационного общества». Спб. 2021. С. 43–45.
6. Schrittwieser J., Antonoglou I., Hubert T. et al. Mastering Atari, Go, chess and shogi by planning with a learned model // Nature. 2020. 588. P. 604–609. https://doi.org/10.1038/s41586-020-03051-4.
7. Кожаринов А.С., Кириченко Ю.А., Афанасьев И.В., Власов А.И., Лабуз Н.П. Методы анализа когнитивных искажений и концепция автоматизированной интеллектуальной системы их детектирования // Нейрокомпьютеры: разработка, применение. 2022. Т. 24. № 4. С. 38–74. DOI 10.18127/j19998554-202204-04.
8. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ: учеб. пособие для вузов. М.: Высшая школа. 1989.
9. Глушко А.А., Бусов В.Д., Передерин К.Д. Методы алгоритмического проектирования искусственного интеллекта // Технологии инженерных и информационных систем. 2019. № 2. С. 72–88.
10. Пешков Д.В., Минитаева А.М. Нейронная сеть для определения принадлежности предложений заданному языку // Технологии инженерных и информационных систем. 2019. № 4. С. 10–19.
11. Власов А.И., Конькова А.Ф. Медико-диагностические экспертные системы для оценки адекватности адаптивной реакции организма на воздействие экстремальных факторов // Конверсия. 1995. № 9-10. С. 18–21.
12. Василова Е.В., Власов А.И., Евдокимов Г.М. Невербальные коммуникации животного мира: системный анализ жестовых языков // Международный научно-исследовательский журнал. 2017. № 5-3(59). С. 14–23.
13. Василова Е.В., Власов А.И., Евдокимов Г.М. Невербальные коммуникации животного мира: картирование элементов жестовых языков // Международный научно-исследовательский журнал. 2017. № 6-3(60). С. 102–110.
14. Власов А.И., Ларионов И.Т., Орехов А.Н., Тетик Л.В. Система автоматического распознавания эмоционального состояния человека // Нейрокомпьютеры: разработка, применение. 2021. Т. 23. № 5. C. 33–50. DOI 10.18127/j19998554-202105-03.
15. Алфимцев А.Н., Сакулин С.А., Большаков В.Э., Быков Н.В., Товарнов М.С., Власова Н.С. Метод решения социальных дилемм на основе репутации и глубокого мультиагентного обучения с подкреплением // Нейрокомпьютеры: разработка, применение. 2022. Т. 24. № 1. С. 5–15. DOI 10.18127/j19998554-202201-01.
16. Большаков В.Э. Обзор методов внутренней мотивации для машинного обучения с подкреплением // Сборник материалов V Междунар научно-практич конф студентов, аспирантов и молодых учёных «Фундаментальные и прикладные исследования молодых учёных». Омск. 2021. С. 305–311.
17. Орехов А.Н. Моделирование психических и социально-психологических процессов: номотетический подход: Автореф. дисс. … докт. психол. наук. М.: 2006.
18. Орехов А.Н. Компьютерная личность: преимущества и недостатки // Тр. XV Всерос. науч. конф. «Нейрокомпьютеры и их применение». 2017. С. 125–126.
19. Кошелева Л.Ю. Номотетические и идиографические методы в науке уголовного права // Образование. Наука. Научные кадры. 2011. № 2. С. 51–56.
20. Калашников С.Г. Номотетические виды объяснения в исторической науке // Дискурс. философские размышления. Сборник научных статей преподавателей кафедры философии, истории, политологии и права. Коломна, 2006. С. 8–25.
21. Чучупал В.В. Математические методы и модели в социальных науках // Актуальные направления научных исследований XXI века: теория и практика. 2015. Т. 3. № 5-2 (16-2). С. 343–346.
22. Момджян К.Х. Номотетическое познание в общественных и гуманитарных науках // Эпистемология и философия науки. 2015. Т. 45. № 3. С. 16–22.
23. Будник П.В., Шегельман И.Р. К вопросу классификации эвристических методов поиска новых решений в инженерной деятельности // Инженерный вестник Дона. 2017. № 4 (47). С. 61.
24. Носс И.Н. Методы интерпретации эмпирических данных в психологическом исследовании, рефракции интерпретации и их контроль // Человеческий капитал. 2014. № 7 (67). С. 16–22.
25. Бурков В.Н., Новиков Д.А. Теория активных систем: состояние и перспективы М.: Синтег. 1999. 128 с.
26. Бурков В.Н., Коргин Н.А., Новиков Д.А. Введение в теорию управления организационными системами: Учебник. М.: Либроком. 2009.
27. Бурков В.Н., Кондратьев В.В. Механизмы функционирования организационных систем. – М.: Наука, 1981.
28. Lebedev S.A. Scientific knowledge: the demarcation problem. European Journal of Philosophical Research. 2016. № 1 (5).
    P. 27–34.
29. Shakhnov V.A., Kurnosenko A.E., Demin A.A., Vlasov A.I. Industry 4.0 visual tools for digital twin system design // Software Engineering Perspectives in Intelligent Systems. Proceedings of 4th Computational Methods in Systems and Software. 2020. V. 2.
    P. 864–875.
30. Bortakur T., Gogoi B. Research of some tests for homogeneity and their effectiveness. OSR Journal of Mathematics. 2017. V. 13. Is. 1 Ver. III. P. 6–19.
31. Cook S. Complexity of theorem proof procedures. Proceedings of the Third Annual ACM Symposium on Computational Theory. 1971. P. 151–158.