Распределенный краулер для социальных сетей на основе модели Map/Reduce

А.В. Якушев; Л.Й. Дейкстра; С.А. Митягин

Распределенный краулер для социальных сетей на основе модели Map/Reduce

А.В. Якушев¹, Л.Й. Дейкстра², С.А. Митягин³

научная статья Страницы: 47-53

¹ мл. науч. сотрудник, Национальный исследовательский университет информационных технологий, механики и оптики
² студент, Университет г. Амстердам
³ к.т.н., руководитель, Национальный исследовательский университет информационных технологий, механики и оптики

Ключевые слова: краулер mapreduce hadoop livejournal социальные сети комплексные сети безмасштабные сети

Аннотация

Описана система для сбора данных из социальных сетей (краулинга), основанная на модели распределенных вычислений MapReduce. Система работает на кластере серверов под управлением Apache Hadoop и поддерживает многопользовательский режим, позволяя каждому клиенту собирать данные на интересующие его темы с использованием индивидуальной политики обхода сети. Система была использована для сбора данных из сети Livejournal, анализ которой показал, что данная сеть является безмасштабной (scale-free), а также для проведения исследований наркотизации населения.

Для цитирования

Якушев А.В., Дейкстра Л.Й., Митягин С.А. Распределенный краулер для социальных сетей на основе модели Map/Reduce // Информационно-измерительные и управляющие системы. 2012. № 11. С. 47–53.

Список источников

M E J. NewmanComplex Systems: A Survey // Gene. 2009. № I.
Boccaletti S., Latora V., Moreno Y., Chavez M., Hwang D. Complex Networks: Structure and Dynamics // Physics Reports 424. February 2006. №. 4-5. P. 175-308.
LämmelR.Google-s MapReduce Programming Model - Revisited // SCIENCE OF COMPUTER PROGRAMMING. 2007. V. 70. P. 1-30.
WhiteT.Hadoop: The Definitive Guide // O'Reilly Media, Yahoo! Press. 2009. June 5.
Michael M. et al. Scale-up x Scale-out: A Case Study using Nutch/Lucene. IPDPSIEEE. 2007. P. 1-8.
Митягин С.А., Якушев А.В., Бухановский А.В Имитационное моделирование наркотизации населения по данным мониторинга социальных сетей // Журнал Современные исследования социальных проблем СИСП. 2012. № 2 (10). С. 133-151.
Митягин С.А., Якушев А.В., Бухановский А.В., ЗахаровЮ.Н. Исследование социальных сетей в задаче моделирования наркотизации населения и противодействия незаконному обороту наркотиков // Вестник Санкт-Петербургского университета МВД России. 2012. №4 (56) (в печати).
Бершадская Л.А., Биккулов А.С., Болгова Е.В., Чугунов А.В., Якушев А.В. Социальные сети и социометрические исследования: теоретические основания и практика использования автоматизированного инструментария изучения виртуальных сообществ // Информационные ресурсы России. 2012. № 4. C. 19-24.
Newman M.E.J. Power laws, Pareto distributions and Zipf-s law // Contemporary Physics. 2005. V.46. P. 323-351.
Clauset A., Shalizi C.R., and Newman M.E.J. Power-law distributions in empirical data // SIAM Review 2009. V. 51(4). P. 661-703.
Андронов В.Г., Емельянов С.Г., Михайлов C.Н., Потапенко А.М.Основные направления системного решения задач региональной информатизации // Информационно-измерительные и управляющие системы. 2008. № 10. С. 7-12.
Семенов А.В., Бухановский А.В. Метрологический анализ в социальных сетях // Известия вузов. Сер. Приборостроение. 2011. № 3.С. 85-87.

[1] M E J. NewmanComplex Systems: A Survey // Gene. 2009. № I.

[2] Boccaletti S., Latora V., Moreno Y., Chavez M., Hwang D. Complex Networks: Structure and Dynamics // Physics Reports 424. February 2006. №. 4-5. P. 175-308.

[3] LämmelR.Google-s MapReduce Programming Model - Revisited // SCIENCE OF COMPUTER PROGRAMMING. 2007. V. 70. P. 1-30.

[4] WhiteT.Hadoop: The Definitive Guide // O'Reilly Media, Yahoo! Press. 2009. June 5.

[5] Michael M. et al. Scale-up x Scale-out: A Case Study using Nutch/Lucene. IPDPSIEEE. 2007. P. 1-8.

[6] Митягин С.А., Якушев А.В., Бухановский А.В Имитационное моделирование наркотизации населения по данным мониторинга социальных сетей // Журнал Современные исследования социальных проблем СИСП. 2012. № 2 (10). С. 133-151.

[7] Митягин С.А., Якушев А.В., Бухановский А.В., ЗахаровЮ.Н. Исследование социальных сетей в задаче моделирования наркотизации населения и противодействия незаконному обороту наркотиков // Вестник Санкт-Петербургского университета МВД России. 2012. №4 (56) (в печати).

[8] Бершадская Л.А., Биккулов А.С., Болгова Е.В., Чугунов А.В., Якушев А.В. Социальные сети и социометрические исследования: теоретические основания и практика использования автоматизированного инструментария изучения виртуальных сообществ // Информационные ресурсы России. 2012. № 4. C. 19-24.

[9] Newman M.E.J. Power laws, Pareto distributions and Zipf-s law // Contemporary Physics. 2005. V.46. P. 323-351.

[10] Clauset A., Shalizi C.R., and Newman M.E.J. Power-law distributions in empirical data // SIAM Review 2009. V. 51(4). P. 661-703.

[11] Андронов В.Г., Емельянов С.Г., Михайлов C.Н., Потапенко А.М.Основные направления системного решения задач региональной информатизации // Информационно-измерительные и управляющие системы. 2008. № 10. С. 7-12.

[12] Семенов А.В., Бухановский А.В. Метрологический анализ в социальных сетях // Известия вузов. Сер. Приборостроение. 2011. № 3.С. 85-87.

Аннотация

Для цитирования

Похожие статьи