350 руб
Журнал «Информационно-измерительные и управляющие системы» №12 за 2016 г.
Статья в номере:
Метод доступа к хранилищу данных по технологии MapReduce/Spark без кэширования таблиц измерений в оперативной памяти
Ключевые слова: технология MapReduce/Spark хранилище данных хеширование таблиц метод MRIJ метод БЕКТИ время выполнения запроса сравнение методов
Авторы:
Е.Ю. Ермаков - к.т.н., руководитель проектов, компания «Mail.Ru Group» (Москва) E-mail: JK.Ermakov@gmail.com В.А. Пролетарская - аспирант, кафедра «Системы обработки информации и управления», Московский государственный технический университет им. Н.Э. Баумана E-mail: vilka2000@mail.ru
Аннотация:
Разработан метод обработки запросов к хранилищу данныхбез кэширования таблиц измерений в оперативной памяти (БЕКТИ). Рассмотрены алгоритмы методов доступа к хранилищу данных для платформ Hadoop и Spark. Описана реализация метода БЕКТИ в среде Spark. Выполнено сравнение разработанного метода БЕКТИ с ApacheHive и SparkSQL.
Страницы: 90-97
Список источников

 

  1. Jairam Chandar. Join Algorithms using Map/Reduce .Edinburgh:University of Edinburgh, 2010.
  2. Zhou G., Zhu Y., Wang G. Cache Conscious Star-Join in MapReduce Environments. Cloud-I \'13 Proceedings of the 2nd International Workshop on Cloud Intelligence, August 26. 2013.
  3. Lin Y., Agrawal D., Chen C., Ooi B.C.,Wu S. Llama: leveraging columnar storage for scalable join processing in the MapReduce framework. Proceedings of the 2011 ACM SIGMOD International Conference on Management of data. P. 961-972.
  4. Brito J., Mosqueiro T., Ciferri R.R., DA Ciferri C. Faster Cloud Star Joins with Reduced Disk Spill and Network Communication. Chemometrics and Intelligent Laboratory Systems. 2016.
  5. Lee R., Huai Y., Shao Z., etc. RCFile: A fast and space-efficient data placement structure in MapReduce-based warehouse systems. ICDE. 2011. P. 1199-1208.
  6. Григорьев Ю.А., Плутенко А.Д. Анализ времени соединения таблиц в строчной параллельной системе баз данных и по технологии MapReduce // Информатика и системы управления. 2014. № 2. С. 3-11.
  7. Songting Chen Turn Inc. Cheetah: A High Performance, Custom Data Warehouse on Top of MapReduce // Journal Proceedings of the VLDB Endowment. 2010. V. 3 Is. 1-2. September. P. 1459-1468.
  8. Григорьев Ю.А., Плутенко А.Д., Плужников В.Л., Ермаков Е.Ю., Цвященко Е.В., Пролетарская В.А. Теория и практика анализа параллельных систем баз данных. Владивосток: Дальнаука. 2015. 336 c.
  9. Григорьев Ю.А. Пролетарская В.А. Метод ранней материализации доступа к хранилищу данных по технологии MapReduce // Информатика и системы управления. 2015. № 3. С. 3-16.
  10. Eltabakh M.Y., Tian Yu., O¨zcan F., Gemulla R., Krettek A., McPherson J. CoHadoop: Flexible Data Placement and Its Exploitation in Hadoop // Journal Proceedings of the VLDB Endowment. 2011. V. 4, Is. 9. June. P. 575-585.