Обнаружение падений людей по данным видеонаблюдения с применением метода переноса знания
- 1,2,3,4 Московский государственный технический университет имени Н.Э. Баумана (Москва, Россия)
Аннотация
Постановка проблемы. Своевременное обнаружение падений людей критически важно для предотвращения угрожающих жизни состояний, что особенно актуально для пожилых людей. В настоящее время разрабатываются различные методы обнаружения падений, среди которых – видеонаблюдение – один из наименее дорогостоящих и наиболее простых в эксплуатации методов. Необходимость повышения точности метода приводит к усложнению моделей компьютерного зрения, лежащих в его основе, что приводит к увеличению требований к вычислительным ресурсам. В настоящей работе для улучшения модели используется другой подход: постобработка предсказаний модели с помощью эвристических правил.
Цель работы – разработка независимого от окружающей обстановки алгоритма обнаружения падений по данным видеонаблюдения.
Результаты. При разработке алгоритма использовался общедоступный набор данных с видеозаписями падений людей Le2i, полученными с помощью одной видеокамеры. Поскольку задача обнаружения падений сводится к задаче бинарной классификации кадров (падение / нет падения), в качестве базовой модели использовалась сверточная искусственная нейронная сеть (AlexNet) с предварительно загруженными весами, которая прошла настройку весов с помощью обучающей выборки. Обобщающая способность модели выявлялась методом поэлементной валидации. Для решения целевой задачи обнаружения падений на видеозаписи использовалось эвристическое правило.
Предложенная модель обучилась обнаруживать падения независимо от локации, в которой была получена видеозапись. Использование эвристического правила позволило повысить специфичность, не изменив при этом чувствительности, что более критично в задаче обнаружения падений.
Практическая значимость. В дальнейшем предполагается провести дополнительную настройку весов полученной модели с использованием видеозаписей без падений из другого набора данных, а валидацию провести с помощью видео как с падениями, так и без них, что позволит проверить, применима ли модель в реальных условиях. Кроме того, необходимо исследовать влияние других эвристических правил на качество модели.
- Поступила
- 22.06.2022
- Одобрена
- 24.06.2022
- Принята
- 28.09.2022
Для цитирования
Лобанова В.С., Анищенко Л.Н., Слизов В.В., Смирнова Е.С. Обнаружение падений людей по данным видеонаблюдения с применением метода переноса знания // Биомедицинская радиоэлектроника. 2022. T. 25. № 5. С. 39-48. DOI: https://doi.org/10.18127/j15604136-202205-05
Список источников
- 10 facts on ageing and health // World Health Organization: [сайт]. 2017. 1 мая. URL: https://www.who.int/news-room/fact-sheets/detail/10-facts-on-ageing-and-health (дата обращения 27.03.2022).
- Falls // World Health Organization: [сайт]. 2021. 26 апр. URL: https://www.who.int/news-room/fact-sheets/detail/falls (дата обращения 01.06.2022).
- World Population Prospects 2019: Highlights / United Nations, Department of Economic and Social Affairs, Population Division. The United Nations: New York. USA. 2019.
- Singh A., Rehman S.U., Yongchareon S., Chong P.H.J. Sensor technologies for fall detection systems: a review // IEEE Sensors Journal. 2020. V. 20. P. 6889–6919. DOI: 10.1109/JSEN.2020.2976554
- Clemente M., Li F., Valero M., Song W. Smart Seismic Sensing for Indoor Fall Detection, Location, and Notification // IEEE Journal of Biomedical and Health Informatics. 2020. V. 24. P. 524–532. DOI: 10.1109/JBHI.2019.2907498
- Vacher M., Bouakaz S., Bobillier-Chaumon M.-E., Aman F., Khan R.A., Bekkadja S., Portet F., Guillou E., Rossato S., Lecouteux B. The CIRDO Corpus: Comprehensive Audio/Video Database of Domestic Falls of Elderly People [Электронный ресурс] // Proceedings of 10th International Conference on Language Resources and Evaluation (LREC 2016). Slovenia, 23–28 May 2016.
P. 1389–1396. URL: https://hal.archives-ouvertes.fr/hal-01323603 (дата обращения: 01.06.2022). - Fatima M., Yousaf M.H., Yasin A., Velastin S.A. Unsupervised fall detection approach using human skeletons // Proceedings of 2021 International Conference on Robotics and Automation in Industry (ICRAI). Pakistan, 26–27 October 2021. P. 1–6. DOI: 10.1109/ICRAI54018.2021.9651467
- Ramirez H., Velastin S.A., Meza I., Fabregas E., Makris D., Farias G. Fall Detection and Activity Recognition Using Human Skeleton Features // IEEE Access. 2021. V. 9. P. 33532–33542. DOI: 10.1109/ACCESS.2021.3061626
- Palipana S., Rojas D., Agrawal P., Pesch D. Falldefi: ubiquitous fall detection using commodity wi-fi devices // Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies. 2018. V. 1. P. 1–25. DOI: 10.1145/3161183
- Wang R.-d., Zhang Y.-l., Dong L.-p., Lu J.-w., Zhang Z.-q., He X. Fall detection algorithm for the elderly based on human characteristic matrix and SVM // Proceedings of 2015 15th International Conference on Control, Automation and Systems (ICCAS). Korea (South), 13-16 October 2015. P. 1190–1195. DOI: 10.1109/ICCAS.2015.7364809.
- Asif U., Mashford B., Cavallar S.V., Yohanandan S., Roy S., Tang J., Harrer S. Privacy Preserving Human Fall Detection using Video Data // Proceedings of the Machine Learning for Health NeurIPS Workshop (PMLR). 11 December 2020. V. 116. P. 39–51.
- Liu L., Hou Y., He J., Lungu J., Dong R. An Energy-Efficient Fall Detection Method Based on FD-DNN for Elderly People // Sensors. 2020. V. 20. P. 4192. DOI: https://doi.org/10.3390/s20154192
- Lin C.-L., Chiu W.-C., Chu T.-C., Ho Y.-H., Chen F.-H., Hsu C.-C., Hsieh P.-H., Chen C.-H., Lin C.-C.K., Sung P.-S., Chen P.-T. Innovative Head-Mounted System Based on Inertial Sensors and Magnetometer for Detecting Falling Movements // Sensors. 2020. V. 20. P. 5774. DOI: https://doi.org/10.3390/s20205774
- Nahian M.J.A., Ghosh T., Banna H.A., Aseeri M.A., Uddin M.N., Ahmed M.R., Mahmud M., Kaiser M.S. Towards an Accelerometer-Based Elderly Fall Detection System Using Cross-Disciplinary Time Series Features // IEEE Access. 2021. V. 9. P. 39413–39431. DOI: 10.1109/ACCESS.2021.3056441
- Gjoreski M., Gjoreski H., Lustrek M., Gams M. How accurately can your wrist device recognize daily activities and detect falls? // Sensors. 2016. V. 16. P. 600. DOI: 10.3390/s16060800
- Er P.V., Tan K.K. Non-Intrusive Fall Detection Monitoring for the Elderly Based on Fuzzy Logic // Measurement. 2018. V. 124.
P. 91–102. DOI: 10.1016/j.measurement.2018.04.009 - Nho Y.-H., Lim J.G., Kwon D.-S. Cluster-Analysis-Based User-Adaptive Fall Detection Using Fusion of Heart Rate Sensor and Accelerometer in a Wearable Device // IEEE Access. 2020. V. 8. P. 40389–40401. DOI: 10.1109/ACCESS.2020.2969453
- Halima I., Laferte J.-M., Cormier G., Fougeres A.-L., Dillenseger J.-L. Depth and Thermal Information Fusion for Head Tracking Using Particle Filter in a Fall Detection Context // Integrated Computputer-Aided Engineering. 2020. V. 27. P. 195–208.
DOI: 10.3233/ICA-190615 - Cai W.Y., Guo J.-H., Zhang M.-Y., Ruan Z.-X., Zheng X.-C., Lv S.-S. GBDT-Based Fall Detection with Comprehensive Data from Posture Sensor and Human Skeleton Extraction // Journal of Healthcare Engineering. 2020. V. 2020. DOI: 10.1155/2020/8887340
- Bozinovski S. Reminder of the first paper on transfer learning in neural networks, 1976 // Informatica. 2020. V. 44. P. 17.
DOI: 10.31449/inf.v44i3.2828 - Charfi I., Miteran J., Dubois J., Atri M., Tourki R. Optimised spatiotemporal descriptors for real-time fall detection: comparison of SVM and Adaboost based classification // Journal of Electronic Imaging. 2013. V. 22. P. 041106. DOI: 10.1117/1.JEI.22.4.041106
- Krizhevsky A., Sutskever I., Hinton G.E. ImageNet classification with deep convolutional neural networks // Communications of the ACM. 2017. V. 60. P. 84–90. DOI: 10.1145/3065386
- Gunale K., Mukherji P. Indoor human fall detection system based on automatic vision using computer vision and machine learning algorithms // Journal of Engineering Science and Technology. 2018. V. 13. P. 2587–2605
- Anishchenko L. Machine learning in video surveillance for fall detection // 2018 Ural Symposium on Biomedical Engineering, Radioelectronics and Information Technology (USBEREIT). 2018. P. 99–102. DOI: 10.1109/USBEREIT.2018.8384560
- Núňez-Marcos A., Azkune G., Arganda-Carreras I. Vision-Based Fall Detection with Convolutional Neural Networks // Wireless Communications and Mobile Computing. 2017. V. 201. P. 1–16. DOI: 10.1155/2017/9474806
- Chang W.-J., Hsu C.-H., Chen L.-B. A Pose Estimation-Based Fall Detection Methodology Using Artificial Intelligence Edge Computing // IEEE Access. 2021. V. 9. P. 129965–129976. DOI: 10.1109/ACCESS.2021.3113824
- Sowmyayani S., Murugan V., Kavitha J. Fall Detection in Elderly Care System Based on Group of Pictures // Vietnam Journal of Computer Science. 2021. V. 8. P. 199–214. DOI: 10.1142/S2196888821500081