Журнал «Системы высокой доступности» №4 за 2018 г.
Статья в номере:
Реализация методов интеграции данных в хранилище для поддержки поисково-спасательных операций в Арктической зоне
Тип статьи: научная статья
DOI: 10.18127/j20729472-201804-09
УДК: 004.62
Ключевые слова: интеграция данных платформы распределенного хранения и обработки данных поиск и спасание Арктика
Авторы:

Д.О. Брюхов – к.т.н., ст. науч. сотрудник, Институт проблем информатики ФИЦ ИУ РАН (Москва) E-mail: dbriukhov@ipiran.ru

Н.А. Скворцов – науч. сотрудник, Институт проблем информатики ФИЦ ИУ РАН (Москва) E-mail: nskv@ipi.ac.ru

С.А. Ступников – к.т.н., ст. науч. сотрудник, Институт проблем информатики ФИЦ ИУ РАН (Москва) E-mail: sstupni-kov@ipiran.ru

Аннотация:

Рассмотрен подход к реализации методов интеграции данных по Арктической зоне в единое хранилище, а именно: методов извлечения структурированных данных из текстовых документов; преобразования данных к схеме хранилища; слияния данных из разных источников для образования интегрированных представлений; верификации программ интеграции данных; реализации хранилища; загрузки интегрированных данных в хранилище данных. Описаны примеры аналитических запросов над единой схемой хранилища, которые могут быть использованы для планирования поисково-спасательных операций (ПСО). 

Страницы: 36-54
Список источников
  1. Брюхов Д.О. Источники данных для информационной поддержки поисково-спасательных операций // Системы высокой доступности. 2015. Т. 11. № 4. С. 83−89.
  2. Брюхов Д.О., Скворцов Н.А., Ступников С.А. Методы интеграции разноструктурированных данных по Арктической зоне для извлечения информации, нацеленной на поддержку поисково-спасательных операций // Системы высокой доступности. 2017. Т. 13. № 2. С. 3−19.
  3. White T. Hadoop: The Definitive Guide. Third Edition. O'Reilly Media. 2012.
  4. Скворцов Н.А., Брюхов Д.О. Разработка схемы хранилища данных для поддержки поисковых действий в Арктической зоне // Системы высокой доступности. 2017. Т. 13. № 2. С. 20−44.
  5. Capriolo E., Wampler D., Rutherglen J. Programming Hive Data Warehouse and Query Language for Hadoop. O'Reilly Media. 2012.
  6. Miner D. MapReduce Design Patterns: Building Effective Algorithms and Analytics for Hadoop and Other Systems. O'Reilly Media. 2012.
  7. Stupnikov S. Semantics and Verification of Entity Resolution and Data Fusion Operations via Transformation into a Formal Notation // In: Data Analytics and Management in Data Intensive Domains. DAMDID/RCDL 2016. Communications in Computer and Information Science / Ed. by L. Kalinichenko, S. Kuznetsov, Y. Manolopoulos. Springer. 2017. V. 706. P. 145−162.
  8. Система мониторинга судов «Виктория». URL = http://victoria.marsat.ru/ (дата обращения: 01.08.2018).
  9. КИИС «МоРе». URL = http://www.marsat.ru/ciis-more (дата обращения: 01.08.2018).
  10. ЕСИМО. URL = http://portal.esimo.ru/portal (дата обращения: 01.08.2018).
  11. Система КОСПАС-САРСАТ. URL = https://www.cospas-sarsat.int/ru/ (дата обращения: 01.08.2018).
  12. Программный комплекс «Поиск-Море». URL = http://map.geopallada.ru/ (дата обращения: 01.08.2018).
  13. Introducing JSON. 2014. URL = http://www.json.org/ (дата обращения: 01.08.2018).
  14. Dmitriy Deviatkin, Artem Shelmanov Towards Text Processing System for Emergency Event Detection in the Arctic Zone // Труды XVIII Междунар. конф. «Аналитика и управление данными в областях с интенсивным использованием данных DAMDID/RCDL′2016» (Ершово, 11−14 октября 2016 г., Россия) / Под ред. Л.А. Калиниченко, Я. Манолопулоса, С.О. Кузнецова. М.: ФИЦ ИУ РАН. 2016. С. 225−232.
  15. Девяткин Д.А., Шелманов А.О. Применение методов интеллектуального анализа текстов в задаче мониторинга чрезвычайных ситуаций в Арктической зоне // Системы высокой доступности. 2017. Т. 13. № 2. С. 45−55.
  16. Annotation Query Language (AQL) reference. URL = https://www.ibm.com/support/knowledgecenter/SSPT3X_4.1.0/com.ibm.swg.im.infosphere.biginsights.aqlref.doc/doc/aql-overview.html (дата обращения: 01.08.2018).
  17. Beyer K.S., Ercegovac V., Gemulla R., Balmin A., Eltabakh M., Kanne C.-C., Ozcan F., Shekita E.J. Jaql: A Scripting Language for Large Scale Semistructured Data Analysis. VLDB 2011.
  18. Hernández M., Koutrika G., Krishnamurthy R., Popa L., Wisnesky R. HIL: a high-level scripting language for entity integration // Proc. of the 16th International Conference on Extending Database Technology EDBT 2013. P. 549−560.
  19. Abrial J.-R. The B-Book: Assigning Programs to Meanings. Cambridge: Cambridge University Press. 1996.
  20. Atelier B, the industrial tool to efficiently deploy the B Method. URL = http://www.atelierb.eu/ (дата обращения: 01.08.2018).
Дата поступления: 18 сентября 2018 г.