Ю.П. Титов1, Н.С. Андреянов2

1 ФИЦ «Информатика и управление» РАН (Москва, Россия)
1 Московский авиационный институт (национальный исследовательский университет) (Москва, Россия)
2 ФГУП НПП «Гамма» (Москва, Россия)
1 kalengul@mail.ru, 2 nik00789030127799@bk.ru

Постановка проблемы. Современный этап развития вычислительной техники характеризуется стремительным ростом количества автономных устройств реального времени (робототехнические комплексы, беспилотные летательные аппараты, носимые устройства), обладающих значительным совокупным вычислительным потенциалом. Однако существующие архитектуры распределенных вычислений GRID и MPI имеют принципиальные ограничения: GRID-системы не обеспечивают необходимого уровня параллелизма для взаимодействующих процессов, а MPI-кластеры требуют однородности оборудования и предсказуемых сетевых задержек, что недостижимо в гетерогенной среде автономных устройств.

Цель. Разработать концепцию гибридной распределенной вычислительной системы MPI‑GRID, построенную на базе операционных систем реального времени, способную объединять гетерогенные устройства в единую вычислительную среду для выполнения как координированных действий, так и ресурсоёмких параллельных вычислений.

Результаты. Предложена архитектура системы, включающая глобальный планировщик с динамической классификацией узлов на основе комплексного показателя MPI-fitness score, учитывающего WCET операций, сетевую латентность, джиттер прерываний и соблюдение дедлайнов. Разработан прототип программного комплекса на базе FreeRTOS с многоуровневой системой задач и детерминированным планированием. Реализована трехуровневая классификация вычислительных узлов (MPI-класс, гибридный класс, GRID-класс), обеспечивающая оптимальное распределение задач с учетом их требований к детерминизму и производительности. Отмечено, что агент узла, реализованный как набор кооперирующихся задач с фиксированными приоритетами, вносит накладные расходы менее 6% CPU и около 10 КБ RAM, а это подтверждает возможность его использования даже на ресурсно-ограниченных устройствах. Обеспечена синхронизация времени на основе протокола PTP с точностью не хуже 10 мкс.

Практическая значимость. Предложенная концепция позволяет создавать отказоустойчивые распределенные вычислительные системы из разнородных устройств реального времени, обеспечивая предсказуемое выполнение критических операций и эффективное использование простаивающих ресурсов. Система может найти применение в роевой робототехнике, распределенных сенсорных сетях и задачах Интернета вещей реального времени.

Титов Ю.П., Андреянов Н.С. Исследование архитектуры распределенной вычислительной системы MPI-GRID на базе операционных систем реального времени // Системы высокой доступности. 2026. Т. 22. № 3. С. 71−84. DOI: https://doi.org/10.18127/j20729472-202603-07

1. Stankovic J.A. Research Directions for the Internet of Things // IEEE Internet of Things Journal. 2014. V. 1. № 1. P. 3–9. DOI: 10.1109/JIOT.2014.2312291
2. Cisco Systems. Cisco Annual Internet Report (2018–2023). 2020.
3. Kumar V., Grama A., Gupta A., Karypis G. Introduction to Parallel Computing: Design and Analysis of Algorithms. Benjamin-Cummings. 1994.
4. Anderson D.P., Cobb J., Korpela E. SETI@home: An Experiment in Public-Resource Computing // Communications of the ACM. 2002. V. 45. № 11. P. 56–61. DOI: 10.1145/581571.581573
5. Abdelzaher T., Stankovic J.A., Lu C. Feedback Performance Control in Software Services // IEEE Control Systems Magazine. 2003. V. 23. № 3. P. 74–90. DOI: 10.1109/MCS.2003.1200251
6. Tindell K., Burns A., Wellings A.J. Analysis of Hard Real-Time Communications // Real-Time Systems. 1995. V. 9. № 2. P. 147–171. DOI: 10.1007/BF01088856
7. Stankovic J.A. When Sensor and Actuator Networks Cover the World // ETRI Journal. 2008. V. 30. № 5. P. 627–633. DOI: 10.4218/etrij.08.1308.0181
8. Kim J.E., Abdelzaher T., Sha L. Sporadic Decision-Centric Data Scheduling with Normally-Off Sensors // IEEE Real-Time Systems Symposium. 2016. P. 135–146. DOI: 10.1109/RTSS.2016.022
9. Eidson J., Lee K. IEEE 1588 Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems // IEEE Sensors. 2002. DOI: 10.1109/ICSENS.2002.1037261
10. Macenski S., Foote T., Gerkey B. Robot Operating System 2: Design, Architecture, and Uses In The Wild // Science Robotics. 2022. V. 7. № 66. DOI: 10.1126/scirobotics.abm6074
11. Avizienis A., Laprie J.-C., Randell B., Landwehr C. Basic Concepts and Taxonomy of Dependable and Secure Computing // IEEE Transactions on Dependable and Secure Computing. 2004. V. 1. № 1. P. 11–33. DOI: 10.1109/TDSC.2004.2
12. Burns A., Wellings A. Real-Time Systems and Programming Languages. Addison-Wesley, 2009.
13. Foster I., Kesselman C. The Grid 2: Blueprint for a New Computing Infrastructure. Morgan Kaufmann, 2004.
14. Buyya R. et al. Grid Computing: Making the Global Infrastructure a Reality. Wiley, 2003. DOI: 10.1002/0470867167
15. Евдокимов А.А., Вороной С.М. Управление параллельными заданиями в GRID // Информатика и компьютерные технологии. 2009.
16. Dongarra J., Meuer H.W., Strohmaier E. Top500 Supercomputer Sites: Performance Development for the Last Decade // Concurrency and Computation: Practice and Experience. 2005. DOI: 10.1002/cpe.934
17. Gropp W., Lusk E., Skjellum A. Using MPI: Portable Parallel Programming with the Message-Passing Interface. MIT Press, 1999.
18. Snir M. et al. MPI: The Complete Reference. MIT Press, 1998.
19. Kalia A., Kaminsky M., Anderson T. Design Guidelines for High Performance RDMA Systems // USENIX Annual Technical Conference. 2016. P. 437–450.
20. Sha L. et al. Real-Time Systems: Scheduling, Analysis, and Verification. Wiley, 2004.
21. Liu C.L., Layland J.W. Scheduling Algorithms for Multiprogramming in a Hard-Real-Time Environment // Journal of the ACM. 1973. V. 20. № 1. P. 46–61. DOI: 10.1145/321738.321743
22. Mills D.L. Network Time Protocol (NTP): A Brief Tutorial // RFC 1305. 1992.
23. Wilhelm R., Engblom J., Ermedahl A. The Worst-Case Execution-Time Problem – Overview of Methods and Survey of Tools // ACM Transactions on Embedded Computing Systems. 2008. V. 7. № 3. Art. 36. DOI: 10.1145/1347375.1347389
24. Thakur R., Rabenseifner R., Gropp W. Optimization of Collective Communication Operations in MPICH // International Journal of High Performance Computing Applications. 2005. V. 19. № 1. P. 49–66. DOI: 10.1177/1094342005051521
25. Paxson V. End-to-End Internet Packet Dynamics // IEEE/ACM Transactions on Networking. 1999. V. 7. № 3. P. 277–292. DOI: 10.1109/90.779192
26. Ramamritham K., Stankovic J.A. Scheduling Algorithms and Operating Systems Support for Real-Time Systems // Proceedings of the IEEE. 1994. V. 82. № 1. P. 55–67. DOI: 10.1109/5.259426
27. Бурдонов И.Б., Косачев А.С., Пономаренко В.Н. Операционные системы реального времени // Препринт Института системного программирования РАН. 2006. № 14.
28. Основы GRID-технологий [Электронный ресурс]. URL: http://book.itep.ru/4/7/grid.htm
29. FreeRTOS Reference Manual. Real Time Engineers Ltd., 2023.
30. Bernstein D. Containers and Cloud: From LXC to Docker and Beyond // IEEE Cloud Computing. 2014. V. 1. № 3. P. 20–26. DOI: 10.1109/MCC.2014.51
31. IEEE Standard for a Precision Clock Synchronization Protocol for Networked Measurement and Control Systems // IEEE Std 1588-2008. 2008. DOI: 10.1109/IEEESTD.2008.4579760