Радиотехника
Издательство РАДИОТЕХНИКА

"Издательство Радиотехника":
научно-техническая литература.
Книги, журналы издательств ИПРЖР, РС-ПРЕСС, САЙНС-ПРЕСС


Тел.: +7 (495) 625-9241

::Журналы
::Книги
 

Метод доступа к хранилищу данных по технологии MapReduce/Spark без кэширования таблиц измерений в оперативной памяти

Ключевые слова:

Е.Ю. Ермаков - к.т.н., руководитель проектов, компания «Mail.Ru Group» (Москва) E-mail: JK.Ermakov@gmail.com В.А. Пролетарская - аспирант, кафедра «Системы обработки информации и управления», Московский государственный технический университет им. Н.Э. Баумана E-mail: vilka2000@mail.ru


Разработан метод обработки запросов к хранилищу данныхбез кэширования таблиц измерений в оперативной памяти (БЕКТИ). Рассмотрены алгоритмы методов доступа к хранилищу данных для платформ Hadoop и Spark. Описана реализация метода БЕКТИ в среде Spark. Выполнено сравнение разработанного метода БЕКТИ с ApacheHive и SparkSQL.
Список литературы:

 

  1. Jairam Chandar. Join Algorithms using Map/Reduce .Edinburgh:University of Edinburgh, 2010.
  2. Zhou G., Zhu Y., Wang G. Cache Conscious Star-Join in MapReduce Environments. Cloud-I \'13 Proceedings of the 2nd International Workshop on Cloud Intelligence, August 26. 2013.
  3. Lin Y., Agrawal D., Chen C., Ooi B.C.,Wu S. Llama: leveraging columnar storage for scalable join processing in the MapReduce framework. Proceedings of the 2011 ACM SIGMOD International Conference on Management of data. P. 961–972.
  4. Brito J., Mosqueiro T., Ciferri R.R., DA Ciferri C. Faster Cloud Star Joins with Reduced Disk Spill and Network Communication. Chemometrics and Intelligent Laboratory Systems. 2016.
  5. Lee R., Huai Y., Shao Z., etc. RCFile: A fast and space-efficient data placement structure in MapReduce-based warehouse systems. ICDE. 2011. P. 1199–1208.
  6. Григорьев Ю.А., Плутенко А.Д. Анализ времени соединения таблиц в строчной параллельной системе баз данных и по технологии MapReduce // Информатика и системы управления. 2014. № 2. С. 3–11.
  7. Songting Chen Turn Inc. Cheetah: A High Performance, Custom Data Warehouse on Top of MapReduce // Journal Proceedings of the VLDB Endowment. 2010. V. 3 Is. 1–2. September. P. 1459–1468.
  8. Григорьев Ю.А., Плутенко А.Д., Плужников В.Л., Ермаков Е.Ю., Цвященко Е.В., Пролетарская В.А. Теория и практика анализа параллельных систем баз данных. Владивосток: Дальнаука. 2015. 336 c.
  9. Григорьев Ю.А. Пролетарская В.А. Метод ранней материализации доступа к хранилищу данных по технологии MapReduce // Информатика и системы управления. 2015. № 3. С. 3–16.
  10. Eltabakh M.Y., Tian Yu., O¨zcan F., Gemulla R., Krettek A., McPherson J. CoHadoop: Flexible Data Placement and Its Exploitation in Hadoop // Journal Proceedings of the VLDB Endowment. 2011. V. 4, Is. 9. June. P. 575–585.

 

© Издательство «РАДИОТЕХНИКА», 2004-2017            Тел.: (495) 625-9241                   Designed by [SWAP]Studio