А.И. Власов1, А.Н. Орехов2, Л.В. Тетик3

1 МГТУ им. Н.Э. Баумана (Москва, Россия)

2 Фонд содействия созданию и внедрению компьютерной психики (Москва, Россия)

3 МГУ им. М.В. Ломоносова (Москва, Россия)

1 vlasovai@bmstu.ru, 2 alexandernorekhov@yandex.ru, 3 liliatetik@rambler.ru

Постановка проблемы. Системы компьютерной личности базируются на номотетических моделях психики человека и реализуют базовые принципы познавательных процессов, личностных, эмоциональных и поведенческих проявлений. Номотетические модели психики предполагают возможность осмысления любых внешних и внутренних сообщений. Вследствие этого методика информационных испытаний компьютерной личности должна учитывать особенности детектирования когнитивных искажений. Возникает проблема определения условий, в которых внешние и внутренние сообщения сделают поведение системы неадекватным, в частности, порождающим когнитивные искажения. Поэтому необходимо определить алгоритмы, наиболее устойчивые к таким искажениям.

Цель. Разработать методику информационных испытаний компьютерной личности в условиях поступления избыточной или интерферирующей информации (сообщений), а также произвести оценку возможностей компьютерной личности решать нестандартные задачи в данных условиях.

Результаты. Рассмотрены методики и результаты информационных испытаний компьютерной системы «АлНикОр» – первой в мире компьютерной личности, решающей нестандартные задачи. Проверена способность системы решать задачи в условиях поступления избыточной, а также интерферирующей информации. Показано, что сообщения, содержащие интерферирующую информацию, создают условия для появления ошибок, в частности, когнитивных искажений. Доказано, что такие ошибки препятствуют решению задачи, либо существенно, часто экспоненциально, увеличивают время решения. Подтверждена гипотеза исследования: рост времени решения с увеличением количества слов и/или количества смыслов аппроксимируется полиномом первой степени.

Практическая значимость. С помощью разработанной методики информационных испытаний компьютерной личности можно определять ее характеристики в условиях внешних, поступивших на вход системы, и внутренних, сгенерированных самой системой воздействий, деструктивных относительно процесса решения нестандартной задачи. Использование разработанной методики позволяет более обосновано интерпретировать признаки возможных грубых ошибок (галлюцинаций) как в процессе обучения, так и в процессе использования больших языковых моделей. Это ускоряет и удешевляет разработку компьютерных систем на основе больших языковых моделей, а также гибридных систем искусственного интеллекта. Демонстрация возможностей алгоритмов компьютерной личности эффективно отстраиваться от избыточной и интерферирующей информации дает возможность разработчикам гибридных систем использовать эти алгоритмы в качестве необходимых компонентов верхнего уровня регуляции поведения при решении задач.

Власов А.И., Орехов А.Н., Тетик Л.В. Информационные испытания компьютерной личности, решающей нестандартную физическую задачу // Нейрокомпьютеры: разработка, применение. 2024. T. 26. № 1. С. 32-44. DOI: https://doi.org/10.18127/j19998554-202401-04

1. Орехов А.Н. Решение нестандартных задач компьютерной системой // Нейрокомпьютеры: разработка, применение. 2021. Т. 23. № 3. С. 43–62. DOI 10.18127/j19998554-202103-05.
2. Кожаринов А.С., Кириченко Ю.А., Афанасьев И.В., Власов А.И., Лабуз Н.П. Методы анализа когнитивных искажений и концепция автоматизированной интеллектуальной системы их детектирования // Нейрокомпьютеры: разработка, применение. 2022. Т. 24. № 4. С. 38–74. DOI 10.18127/j19998554-202204-04.
3. Абдулаев А.Б., Власов А.И., Фатхутдинов Т.М. Автоматизированная нейросетевая система анализа эмоционального состояния человека-оператора // Нейрокомпьютеры: разработка, применение. 2023. Т. 25. № 2. С. 41–57. DOI 10.18127/ j19998554-202302-04.
4. Власов А.И., Ларионов И.Т., Орехов А.Н., Тетик Л.В. Система автоматического распознавания эмоционального состояния человека // Нейрокомпьютеры: разработка, применение. 2021. Т. 23. № 5. С. 33–50. DOI: https://doi.org/ 10.18127/j19998554-202105-03.
5. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ: учеб. пособие для вузов. М.: Высшая школа. 1989.
6. Schrittwieser J., Antonoglou I., Hubert T., Simonyan K., Sifre L., Schmitt S., Guez A., Lockhart E., Hassabis D., Graepel T., Lillicrap T., Silver D. Mastering Atari, Go, chess and shogi by planning with a learned model // Nature. 2020. V. 588. № 7839. P. 604–609. DOI 10.1038/s41586-020-03051-4.
7. Глушко А.А., Бусов В.Д., Передерин К.Д. Методы алгоритмического проектирования искусственного интеллекта // Технологии инженерных и информационных систем. 2019. № 2. С. 72–88.
8. Власов А.И., Конькова А.Ф. Медико-диагностические экспертные системы для оценки адекватности адаптивной реакции организма на воздействие экстремальных факторов // Конверсия. 1995. № 9-10. С. 18–21.
9. Власов А.И., Орехов А.Н., Тетик Л.В. Вероятностные и семантические испытания компьютерной системы, решающей нестандартные задачи // Нейрокомпьютеры: разработка, применение. 2023. T. 25. № 1. С. 31–45. DOI 10.18127/j19998554-202301-01.
10. Демин А.А., Карпунин А.А., Ганев Ю.М. Методы верификации и валидации сложных программных систем // Программные продукты и системы. 2014. № 4. С. 229–233.
11. МИ 2891-2004 ГСИ. Общие требования к программному обеспечению средств измерений.
12. Созинов А.А. Эффект интерференции и реорганизация памяти при научении: дис. … канд. психолог. наук. М.: ИП РАН. 2008. 191 с.
13. Tomlinson T.D., Huber D.E., Rieth C.A., Davelaar E.J. An interference account of cue-independent forgetting in the no-think paradigm // Proceedings of the National Academy of Sciences. 2009. V. 106. № 37. P. 15588–15593. DOI 10.1073/pnas.0813370106.
14. Аверьянихин А.Е., Власов А.И., Малеваный А.Ю. Концепция управления тестовыми средами в условиях синхронных технологий проектирования // Тр. междунар. симпозиума «Надежность и качество». 2019. Т. 2. С. 135–142.
15. Колесников Д.В., Петров А.Ю., Храмов В.Ю. Методика оценки защищенности специального программного обеспечения при проведении испытаний автоматизированных систем // Вестник Воронежского государственного университета. Серия: Системный анализ и информационные технологии. 2010. № 1. С. 74–79.
16. Федухин А.В., Муха А.А., Сеспедес Гарсия Н.В. Доказательство безопасности компьютерных систем // Математические машины и системы. 2016. № 3. С. 93–101.
17. Когнитивная психология: история и современность. Хрестоматия. Под ред. М. Фаликман и В. Спиридонова. М.: Ломоносовъ. 2011. 384 с. ISBN 978-5-91678-008-6.
18. Benson B. Cognitive bias cheet sheet. [Электронный ресурс] – Режим доступа: https://cs.brown.edu/courses/cs180/sour­ces/2016_01_06_Medium_CognitiveBiasCheatSheet_BetterHumans.pdf, дата обращения 05.12.2021.
19. Ильин Е.П. Психология творчества, креативности, одаренности. СПб.: Питер. 2009. 444 с. ISBN 978-5-49807-239-5.
20. Зефиров Т.Л., Зиятдинова Н.И., Купцова А.М. Физиологические основы памяти. Развитие памяти у детей и подростков. Казань: КФУ. 2015. 40 с.
21. ISO 14598-1-6: 1998-2000. Оценивание программного продукта. Ч. 1. Общий обзор. Ч. 2. Планирование и управление. Ч. 3. Процессы для разработчиков. Ч. 4. Процессы для покупателей. Ч. 5. Процессы для оценщиков. Ч. 6. Документирование и оценивание модулей.
22. Леффингуэлл Д., Уидриг Д. Принципы работы с требованиями к программному обеспечению / Пер. с англ. Н.А. Ореховой. М.: Вильямс. 2002. 445 с.
23. Hutcheson L. Software Testing Fundamentals: Methods and Metrics by Marnie. John Wiley & Sons. 2003. 408 p.
24. Kan S.H. Metrics and Models in Software Quality Engineering. 2nd Ed. Addison Wesley Professional. 2002. 560 p.
25. Криспин Л., Грегори Дж. Гибкое тестирование: практическое руководство для тестировщиков ПО и гибких команд. М.: Вильямс. 2010. 464 с.
26. Липаев В.В. К разработке моделей динамической внешней среды для испытаний сложных программных продуктов // Программная инженерия. 2017. Т. 8. № 2. С. 51–57.