А.В. Демидовский, Э.А. Бабкин

Национальный исследовательский университет Высшая Школа Экономики (г. Нижний Новгород, Россия)

Постановка проблемы. Построение интегрированных субсимволических систем является важным научным направлением. Ключевую роль в создании этих систем играет реализация символических правил в виде нейросетевых архитектур. При этом существует актуальная задача создания нейронных сетей для решения значимых интеллектуальных проблем без предварительного обучения для моделирования вычислительных процессов в перспективных массово-параллельных вычислительных средах. Каждая компонента такой среды играет роль единого нейрона или небольшой подсети. Эти распределённые вычислительные среды должны быть также устойчивы к отказу определенных элементов, улучшаться во времени и работать без центрального контроля. Первым шагом на пути решения этой задачи может выступать создание искусственной нейронной сети, способной к созданию точного решения для особо выбранной мотивирующей проблемы, которая сочетает различные интеллектуальные операции на сложных символических структурах. Задача многокритериального лингвистического принятия решений может быть выбрана как пример подходящий мотивирующий проблемы. Агрегация лингвистических оценок является ключевым элементом нечётких моделей принятия решений и включает три этапа: 1) перевод оценок, выраженных в форме экземпляров 2-tuple, в численные представления; 2) применение операторов агрегации; 3) обратный перевод результатов в вид 2-tuple. Для выражения агрегации лингвистических оценок на нейросетевом уровне предлагается использовать арифметику, построенную на основе тензорных представлений. 

Цель. Создать архитектуру искусственной нейронной сети (ИНС), способную к получению арифметической суммы двух чисел, закодированных в виде тензорных представлений (ТЗП), без тренировки.

Результаты. Нейросетевой арифметический сумматор был реализован и исследован с помощью библиотеки Keras. Показано, что архитектура нейросетевого примитива, принимающего в качестве входа распределённое представление символических структур, подтверждает гипотезу о возможности реализации в виде нейросетевых архитектур различных символических правил, таких как агрегация лингвистических оценок в процессе принятия решений.

Практическая значимость. Предлагаемый примитив основывается на анализе произвольных символических структур и может быть использован как нейросетевой сумматор. Такую сеть легко расширять и поддерживать, а также появляется потенциал для повторного использования этой сети для решения других символических операций на субсимволическом уровне, а используемый подход по генерации нейронных сетей, способных кодировать и манипулировать структурами на тензорном уровне, может быть использован в широком спектре когнитивных систем.

Демидовский А.В., Бабкин Э.А. Программная реализация нейросетевого арифметического сумматора // Нейрокомпьютеры:

разработка, применение. 2021. T. 23. № 2. С. 5−14. DOI: https://doi.org/10.18127/j19998554-202102-01

1. Besold T.R., Garcez A.D.A., Bader S., Bowman H., Domingos P., Hitzler P., de Penning L. Neural-symbolic learning and reasoning: A survey and interpretation // arXiv. cs. 1711.03902. 2017.
2. Besold T.R., Kuhnberger K.U. Towards integrated neural–symbolic systems for human-level AI: Two research programs helping to bridge the gaps // Biologically Inspired Cognitive Architectures. 2015. № 14. P. 97–110.
3. Gallant S.I., Okaywe T.W. Representing objects, relations, and sequences // Neural computation. 2013. V. 25. № 8. P. 2–41.
4. Fodor J.A., Pylyshyn Z.W. Connectionism and cognitive architecture: A critical analysis // Cognition. 1988. V. 28. № 1–2. P. 3–71.
5. Pinkas G., Lima P., Cohen S. Representing, binding, retrieving and unifying relational knowledge using pools of neural binders // Biologically Inspired Cognitive Architectures. 2013. V. 6. P. 87–95.
6. Yousefpour A., Nguyen B.Q., Devic S., Wang G., Kreidieh A., Lobel H., Jue J.P. Failout: Achieving Failure-Resilient Inference in Distributed Neural Networks // arXiv. cs. 2002.07386. 2020.
7. Wei C., Liao H. A multigranularity linguistic group decision‐making method based on hesitant 2‐tuple sets // International Journal of Intelligent Systems. 2016. V. 31. № 6. P. 612–634.
8. Demidovskij A.V., Babkin E.A. Developing a distributed linguistic decision-making system // Business-Informatics. 2019. V. 13. № 1. P. 18–32.
9. Golmohammadi D. Neural network application for fuzzy multi-criteria decision making problems // International Journal of Production Economics. 2011. V. 131. № 2. P. 490–504.
10. Demidovskij A. Implementation Aspects of Tensor Product Variable Binding in Connectionist Systems // In Proceedings of SAI Intelligent Systems Conference. 2019.
11. Demidovskij A. Towards Automatic Manipulation of Arbitrary Structures in Connectivist Paradigm with Tensor Product Variable Binding // Studies in Computational Intelligence. 2019. V. 856. P. 97–110.
12. Demidovskij A., Babkin E. Designing a Neural Network Primitive for Conditional Structural Transformations. // Lecture Notes in Computer Science. 2020. V. 12412. P. 117–133.
13. Pinkas G. Reasoning, nonmonotonicity and learning in connectionist networks that capture propositional knowledge // Artificial Intelligence. 1995. V. 77. № 2. P. 203–247.
14. Smolensky P. Tensor product variable binding and the representation of symbolic structures in connectionist systems // Artificial intelligence. 1990. V. 46. № 1–2. P. 159–216.
15. Smolensky P., Legendre G. The harmonic mind: From neural computation to optimality-theoretic grammar (Cognitive architecture). V. 1. MIT press. 2006. 590 p.
16. Smolensky P., Goldrick M., Mathis D. Optimization and quantization in gradient symbol systems: a framework for integrating the continuous and the discrete in cognition // Cognitive science. 2014. V. 38. № 6. P. 1102–1138.
17. Cho P.W., Goldrick M., Smolensky P. Incremental parsing in a continuous dynamical system: Sentence processing in Gradient Symbolic Computation // Linguistics Vanguard. 2017. V. 3. № 1. P. 1–9.
18. McCoy R.T., Linzen T., Dunbar E., Smolensky P. RNNs Implicitly Implement Tensor Product Representations // arXiv. cs. 1812.08718. 2018.
19. Soulos P., McCoy T., Linzen T., Smolensky P. Discovering the compositional structure of vector representations with role learning networks // arXiv. cs. 1910.09113. 2019.
20. Huang Q., Smolensky P., He X., Deng L., Wu D. Tensor product generation networks for deep NLP modeling // arXiv. cs. 1709.09118. 2017.
21. Palangi H., Smolensky P., He X., Deng L. Question-answering with grammatically-interpretable representations // In Thirty-Second AAAI Conference on Artificial Intelligence. 2018. P. 5350–5357.
22. Demidovskij A. Comparative Analysis of MADM Approaches: ELECTRE, TOPSIS and Multi-level LDM Methodology // In Proceedings of 2020 XXIII International Conference on Soft Computing and Measurements (SCM). 2020. P. 190–193.
23. Demidovskij A., Babkin E. Towards Designing Linguistic Assessments Aggregation as a Distributed Neuroalgorithm // In Proceedings of 2020 XXIII International Conference on Soft Computing and Measurements (SCM). 2020. P. 161–164.
24. Browne A., Sun R. Connectionist inference models // Neural Networks. 2001. № 14. P. 1331–1355.
25. Demidovskij A. Automatic Construction of Tensor Product Variable Binding Neural Networks for Neural-Symbolic Intelligent Systems // In Proceedings of 2020 International Conference on Electrical, Communication, and Computer Engineering. 2020.
26. Demidovskij A., Babkin E. Designing arithmetic neural primitive for sub-symbolic aggregation of linguistic assessments // J. Phys.: Conf. Ser. 2020. V. 1680. P. 1–7.
27. Chollet F. Keras: Deep Learning framework – URL: https://keras.io.
28. de Penning H.L.H., Garcez A.S.D.A., Lamb L.C., Meyer J.J.C. A neural-symbolic cognitive agent for online learning and reasoning // In Twenty-Second International Joint Conference on Artificial Intelligence. 2011. P. 1653–1658.