В.С. Лобанова1, Л.Н. Анищенко2, В.В. Слизов3, Е.С. Смирнова4

1–4 Московский государственный технический университет имени Н.Э. Баумана (Москва, Россия)

Постановка проблемы. Своевременное обнаружение падений людей критически важно для предотвращения угрожающих жизни состояний, что особенно актуально для пожилых людей. В настоящее время разрабатываются различные методы обнаружения падений, среди которых – видеонаблюдение – один из наименее дорогостоящих и наиболее простых в эксплуатации методов. Необходимость повышения точности метода приводит к усложнению моделей компьютерного зрения, лежащих в его основе, что приводит к увеличению требований к вычислительным ресурсам. В настоящей работе для улучшения модели используется другой подход: постобработка предсказаний модели с помощью эвристических правил.

Цель работы – разработка независимого от окружающей обстановки алгоритма обнаружения падений по данным видеонаблюдения.

Результаты. При разработке алгоритма использовался общедоступный набор данных с видеозаписями падений людей Le2i, полученными с помощью одной видеокамеры. Поскольку задача обнаружения падений сводится к задаче бинарной классификации кадров (падение / нет падения), в качестве базовой модели использовалась сверточная искусственная нейронная сеть (AlexNet) с предварительно загруженными весами, которая прошла настройку весов с помощью обучающей выборки. Обобщающая способность модели выявлялась методом поэлементной валидации. Для решения целевой задачи обнаружения падений на видеозаписи использовалось эвристическое правило.

Предложенная модель обучилась обнаруживать падения независимо от локации, в которой была получена видеозапись. Использование эвристического правила позволило повысить специфичность, не изменив при этом чувствительности, что более критично в задаче обнаружения падений.

Практическая значимость. В дальнейшем предполагается провести дополнительную настройку весов полученной модели с использованием видеозаписей без падений из другого набора данных, а валидацию провести с помощью видео как с падениями, так и без них, что позволит проверить, применима ли модель в реальных условиях. Кроме того, необходимо исследовать влияние других эвристических правил на качество модели.

Лобанова В.С., Анищенко Л.Н., Слизов В.В., Смирнова Е.С. Обнаружение падений людей по данным видеонаблюдения
с применением метода переноса знания // Биомедицинская радиоэлектроника. 2022. T. 25. № 5. С. 39-48. DOI: https://doi.org/10.18127/j15604136-202205-05

1. 10 facts on ageing and health // World Health Organization: [сайт]. 2017. 1 мая. URL: https://www.who.int/news-room/fact-sheets/detail/10-facts-on-ageing-and-health (дата обращения 27.03.2022).
2. Falls // World Health Organization: [сайт]. 2021. 26 апр. URL:  https://www.who.int/news-room/fact-sheets/detail/falls (дата обращения 01.06.2022).
3. World Population Prospects 2019: Highlights / United Nations, Department of Economic and Social Affairs, Population Division. The United Nations: New York. USA. 2019.
4. Singh A., Rehman S.U., Yongchareon S., Chong P.H.J. Sensor technologies for fall detection systems: a review // IEEE Sensors Journal. 2020. V. 20. P. 6889–6919. DOI: 10.1109/JSEN.2020.2976554
5. Clemente M., Li F., Valero M., Song W. Smart Seismic Sensing for Indoor Fall Detection, Location, and Notification // IEEE Journal of Biomedical and Health Informatics. 2020. V. 24. P. 524–532. DOI: 10.1109/JBHI.2019.2907498
6. Vacher M., Bouakaz S., Bobillier-Chaumon M.-E., Aman F., Khan R.A., Bekkadja S., Portet F., Guillou E., Rossato S., Lecouteux B. The CIRDO Corpus: Comprehensive Audio/Video Database of Domestic Falls of Elderly People [Электронный ресурс] // Proceedings of 10th International Conference on Language Resources and Evaluation (LREC 2016). Slovenia, 23–28 May 2016.
   P. 1389–1396. URL: https://hal.archives-ouvertes.fr/hal-01323603 (дата обращения: 01.06.2022).
7. Fatima M., Yousaf M.H., Yasin A., Velastin S.A. Unsupervised fall detection approach using human skeletons // Proceedings of 2021 International Conference on Robotics and Automation in Industry (ICRAI). Pakistan, 26–27 October 2021. P. 1–6. DOI: 10.1109/ICRAI54018.2021.9651467
8. Ramirez H., Velastin S.A., Meza I., Fabregas E., Makris D., Farias G. Fall Detection and Activity Recognition Using Human Skeleton Features // IEEE Access. 2021. V. 9. P. 33532–33542. DOI: 10.1109/ACCESS.2021.3061626
9. Palipana S., Rojas D., Agrawal P., Pesch D. Falldefi: ubiquitous fall detection using commodity wi-fi devices // Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies. 2018. V. 1. P. 1–25. DOI: 10.1145/3161183
10. Wang R.-d., Zhang Y.-l., Dong L.-p., Lu J.-w., Zhang Z.-q., He X. Fall detection algorithm for the elderly based on human characteristic matrix and SVM // Proceedings of 2015 15th International Conference on Control, Automation and Systems (ICCAS). Korea (South), 13-16 October 2015. P. 1190–1195. DOI: 10.1109/ICCAS.2015.7364809.
11. Asif U., Mashford B., Cavallar S.V., Yohanandan S., Roy S., Tang J., Harrer S. Privacy Preserving Human Fall Detection using Video Data // Proceedings of the Machine Learning for Health NeurIPS Workshop (PMLR). 11 December 2020. V. 116. P. 39–51.
12. Liu L., Hou Y., He J., Lungu J., Dong R. An Energy-Efficient Fall Detection Method Based on FD-DNN for Elderly People // Sensors. 2020. V. 20. P. 4192. DOI: https://doi.org/10.3390/s20154192
13. Lin C.-L., Chiu W.-C., Chu T.-C., Ho Y.-H., Chen F.-H., Hsu C.-C., Hsieh P.-H., Chen C.-H., Lin C.-C.K., Sung P.-S., Chen P.-T. Innovative Head-Mounted System Based on Inertial Sensors and Magnetometer for Detecting Falling Movements // Sensors. 2020. V. 20. P. 5774. DOI: https://doi.org/10.3390/s20205774
14. Nahian M.J.A., Ghosh T., Banna H.A., Aseeri M.A., Uddin M.N., Ahmed M.R., Mahmud M., Kaiser M.S. Towards an Accelerometer-Based Elderly Fall Detection System Using Cross-Disciplinary Time Series Features // IEEE Access. 2021. V. 9. P. 39413–39431. DOI: 10.1109/ACCESS.2021.3056441
15. Gjoreski M., Gjoreski H., Lustrek M., Gams M. How accurately can your wrist device recognize daily activities and detect falls? // Sensors. 2016. V. 16. P. 600. DOI: 10.3390/s16060800
16. Er P.V., Tan K.K. Non-Intrusive Fall Detection Monitoring for the Elderly Based on Fuzzy Logic // Measurement. 2018. V. 124.
    P. 91–102. DOI: 10.1016/j.measurement.2018.04.009
17. Nho Y.-H., Lim J.G., Kwon D.-S. Cluster-Analysis-Based User-Adaptive Fall Detection Using Fusion of Heart Rate Sensor and Accelerometer in a Wearable Device // IEEE Access. 2020. V. 8. P. 40389–40401. DOI: 10.1109/ACCESS.2020.2969453
18. Halima I., Laferte J.-M., Cormier G., Fougeres A.-L., Dillenseger J.-L. Depth and Thermal Information Fusion for Head Tracking Using Particle Filter in a Fall Detection Context // Integrated Computputer-Aided Engineering. 2020. V. 27. P. 195–208.
    DOI: 10.3233/ICA-190615
19. Cai W.Y., Guo J.-H., Zhang M.-Y., Ruan Z.-X., Zheng X.-C., Lv S.-S. GBDT-Based Fall Detection with Comprehensive Data from Posture Sensor and Human Skeleton Extraction // Journal of Healthcare Engineering. 2020. V. 2020. DOI: 10.1155/2020/8887340
20. Bozinovski S. Reminder of the first paper on transfer learning in neural networks, 1976 // Informatica. 2020. V. 44. P. 17.
    DOI: 10.31449/inf.v44i3.2828
21. Charfi I., Miteran J., Dubois J., Atri M., Tourki R. Optimised spatiotemporal descriptors for real-time fall detection: comparison of SVM and Adaboost based classification // Journal of Electronic Imaging. 2013. V. 22. P. 041106. DOI: 10.1117/1.JEI.22.4.041106
22. Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Communications of the ACM. 2017. V. 60. P. 84–90. DOI: 10.1145/3065386
23. Gunale K., Mukherji P. Indoor human fall detection system based on automatic vision using computer vision and machine learning algorithms // Journal of Engineering Science and Technology. 2018. V. 13. P. 2587–2605
24. Anishchenko L. Machine learning in video surveillance for fall detection // 2018 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). 2018. P. 99–102. DOI: 10.1109/USBEREIT.2018.8384560
25. Núňez-Marcos A., Azkune G., Arganda-Carreras I. Vision-Based Fall Detection with Convolutional Neural Networks // Wireless Communications and Mobile Computing. 2017. V. 201. P. 1–16. DOI: 10.1155/2017/9474806
26. Chang W.-J., Hsu C.-H., Chen L.-B. A Pose Estimation-Based Fall Detection Methodology Using Artificial Intelligence Edge Computing // IEEE Access. 2021. V. 9. P. 129965–129976. DOI: 10.1109/ACCESS.2021.3113824
27. Sowmyayani S., Murugan V., Kavitha J. Fall Detection in Elderly Care System Based on Group of Pictures // Vietnam Journal of Computer Science. 2021. V. 8. P. 199–214. DOI: 10.1142/S2196888821500081